1

O meu objetivo era fazer um web crawler que achasse links (das mais diversas formas, mas que começassem com http/s) na página HTML de um site, usei requests e expressões-regulares, uma parte do código ficou assim:

import requests
import re

to_crawl = ["https://g1.globo.com"]
crawled = set()

url = to_crawl[0]
code = requests.get(url)
html = code.text
kkk = "href=\"http://google.com.br\""

regex = re.findall(r"href=[\"'](https?:\/\/\w+\.\w+\.?\w+?\/?)", kkk)

print(regex)
print(len(regex))

O objetivo era um regex que pegasse os 3 exemplos:

O meu objetivo atual era conseguir pegar pelo menos os dois primeiros, mas por algum motivo, meu regex não retorna nada nos dois primeiros casos.

Obs: Não tenho a mínima idéia de como fazer um regex que consiga incluir o terceiro link e esse não é o foco da questão, mas se puderem me ajudar com ele também fico muito grato.

2

1 Resposta 1

2

Como já foi dito aqui (e também aqui, aqui e principalmente aqui - e em muitos outros lugares por aí), regex não é a ferramenta ideal para manipular HTML (leia cada um dos links para entender todos os motivos).

No seu caso, uma opção seria usar uma biblioteca dedicada, como por exemplo o Beautiful Soup. Com ela, fica fácil encontrar todos os links de uma página:

from bs4 import BeautifulSoup

html = # obter o HTML da página...
soup = BeautifulSoup(html, 'html.parser')
for link in soup.find_all('a'):
    print(link['href'])

Uma regex pode até funcionar, mas se você leu os links indicados no início da resposta, verá que há muitas situações que uma regex não consegue detectar (ou até consegue, mas ela acaba ficando tão complicada que não vale a pena).

Mas nada impede de você usar regex juntamente com o Beautiful Soup, pois agora é um ambiente mais restrito e controlado:

for link in soup.find_all('a', href=re.compile(r'https?://(google\.com\.br|seila\.org|pt\.wikipedia\.org)')):
    print(link['href'])

Ou seja, aqui não é tão problemático usar regex, porque eu tenho certeza que a busca é feita somente no atributo href das tags a (sem os falsos positivos que uma regex poderia trazer, como por exemplo se a tag estivesse comentada, ou se o link estivesse em outra tag - ou no meio do código JavaScript que veio junto com a página - ou se o texto não fosse um HTML, etc). Nesse caso, estou procurando por links http ou https, que sejam de um dos domínios indicados (google.com.br, seial.org ou pt.wikipedia.org).

Mas se a ideia é validar URL's, por que não usar uma lib dedicada? Você pode usar, por exemplo, urllib:

from urllib.parse import urlparse

# verifica se uma URL é válida
def url_valida(url):
    try:
        parsed_url = urlparse(url)
        if not parsed_url:
            return False

        # deve ser http ou https, hostname deve ser google.com.br ou seila.org
        # ou, se for pt.wikipedia.org, verificar o restante da URL (wiki/Diretorio1/etc...)
        return parsed_url.scheme in ('http', 'https') and \
               (parsed_url.hostname in ('google.com.br', 'seila.org') \
                or (parsed_url.hostname == 'pt.wikipedia.org' and parsed_url.path == '/wiki/Diretorio1/diretorio2/diretorio3/naoseikkk5'))
    except ValueError:
        return False

from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')
for link in soup.find_all('a', href=url_valida):
    print(link['href'])

Assim, eu verifico se o link é http ou https, e se o endereço é um dos que eu preciso (google.com.br ou seila.org, ou, se for pt.wikipedia.org, o restante da URL deve ser /wiki/Diretorio1/etc...).


Só para constar, sua regex não funcionava porque o atalho \w pega quaisquer letras, números ou o caractere _ (ou seja, na prática estava pegando qualquer coisa que se parece com uma URL). Mas no final você usou \w+?, que usa o quantificador "preguiçoso", que pega a menor quantidade possível de caracteres (leia aqui e aqui para entender melhor). Ou seja, se a URL for http://google.com.br, e regex só pega http://google.com.b - veja aqui.

Você até poderia usar a regex sugerida acima (https?://(google\.com\.br|seila\.org|pt\.wikipedia\.org)), mas como já dito, isso é muito propenso a falsos positivos. A tag pode estar comentada, o link pode estar "solto" no texto (ou como atributo de outra tag, ou no meio do JavaScript que veio junto com a página, etc). Regex só olha para o texto em si, sem levar em conta a estrutura do mesmo (nem sequer precisa ser um HTML). Já usando Beautiful Soup (ou qualquer outra lib própria para HTML/XML), você consegue uma forma mais confiável de tratar os dados (além de ser menos complicado, pois uma regex para validar URL's não é nada trivial, e se for tratar os casos especiais já mencionados, ela ficará cada vez mais complicada e impraticável de usar).

Sem contar que o Beautiful Soup permite mais controle sobre as tags. Por exemplo, se quiser o texto da tag a, bastaria usar link.text. Se a tag a tem outras tags dentro dela (como por exemplo um img, etc), você pode obter todo o conteúdo da mesma com link.decode_contents(), e por aí vai. Com regex, você teria que incrementá-la para incluir esses casos, complicando-a ainda mais. Não vale a pena.

E soluções simplistas podem te enganar, por parecer que "funcionou", como é o exemplo da outra resposta. Ela usa .*?, que basicamente é "zero ou mais ocorrências de qualquer caractere", ou seja, vai aceitar qualquer coisa que venha depois de http ou https, até encontrar aspas. Então ela não está restringindo nenhum link, e o uso de . juntamente com o quantificador lazy (conforme os links já citados acima) torna a regex extremamente ineficiente. Tanto que o exemplo colocado dá timeout, de tão ineficiente que isso é.

Não me entenda mal, regex é legal - eu particularmente gosto bastante - mas nem sempre é a melhor solução.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .