2

Estou tentando aprender a criar um webcrawler. Parte do código será para extrair links em uma página web (links que comecem por http ou https):

import re   
urls = re.findall(r'href=[\'"]?([^\'" >]+)', s)

Como posso modificar ou criar uma nova rgex que apenas pegue links que comecem por http ou https? Não quero guardar a palavra "href" apenas "http://..." ou "https://..." Não servem, por exemplo: "media/teste", "g1/noticia"

padrao = re.findall(r'href=[\'"]https?://[\w:/\.\'"_]+' ,html)

padrao também não ficou 100% funcional:

http://g1.globo.com/rio

http://g1.globo.com/"

Sairam alguns com " no final, o que não era para ocorrer!

2
  • Qual é o python que está a usar? 2 ou 3?
    – Miguel
    Commented 31/07/2016 às 19:19
  • Uso python 3.4 mas também tenho python 2.7 instalado BackBox Linux.
    – Ed S
    Commented 31/07/2016 às 20:10

2 Respostas 2

4
import urllib, re

url = "http://pt.stackoverflow.com/q/143677"
html = urllib.urlopen(url).read()

urls = re.findall('(?<=href=["\'])https?://.+?(?=["\'])', html)

for url in urls:
    print url

A expressão regular vai corresponder a tudo que estiver entre href=" e " e que seja http ou https.

Você também pode fazer uso de um parser para isso, por exemplo o Beautiful Soup:

import urllib, re
# Para a versao 4.x use from bs4 import BeautifulSoup
from BeautifulSoup import BeautifulSoup

url = "http://pt.stackoverflow.com/q/143677"
html = urllib.urlopen(url).read()

soup = BeautifulSoup(html)
urls = soup.findAll('a', attrs={'href': re.compile("^https?://")})

for tag in urls:
    print tag['href']
4
  • Não precisa colocar r antes de '(?<=href=["\'])https?://.+?(?=["\'])' ? para ser raw string?
    – Ed S
    Commented 31/07/2016 às 20:25
  • @EdS Sim, eu tinha esquecido de colocar. Veja se a primeira opção com regex faz o que você quer, pois eu não cheguei a testar ela em outras páginas.
    – stderr
    Commented 31/07/2016 às 21:08
  • Obrigado. Vou testar e te retorno!
    – Ed S
    Commented 31/07/2016 às 23:33
  • Funcionou perfeitamente. Muito obrigado!
    – Ed S
    Commented 31/07/2016 às 23:40
3

Para completar a excelente resposta do @zekk, aqui fica uma solução para python 3.x:

import requests, re

url = "http://pt.stackoverflow.com/q/143677"
html = requests.get(url).text

urls = re.findall('(?<=href=["\'])https?://.+?(?=["\'])', html)
print(urls)

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .