Como já foi dito aqui (e também aqui, aqui e principalmente aqui - e em muitos outros lugares por aí), regex não é a ferramenta ideal para manipular HTML (leia cada um dos links para entender todos os motivos).
No seu caso, uma opção seria usar uma biblioteca dedicada, como por exemplo o Beautiful Soup. Com ela, fica fácil encontrar todos os links de uma página:
from bs4 import BeautifulSoup
html = # obter o HTML da página...
soup = BeautifulSoup(html, 'html.parser')
for link in soup.find_all('a'):
print(link['href'])
Uma regex pode até funcionar, mas se você leu os links indicados no início da resposta, verá que há muitas situações que uma regex não consegue detectar (ou até consegue, mas ela acaba ficando tão complicada que não vale a pena).
Mas nada impede de você usar regex juntamente com o Beautiful Soup, pois agora é um ambiente mais restrito e controlado:
for link in soup.find_all('a', href=re.compile(r'https?://(google\.com\.br|seila\.org|pt\.wikipedia\.org)')):
print(link['href'])
Ou seja, aqui não é tão problemático usar regex, porque eu tenho certeza que a busca é feita somente no atributo href
das tags a
(sem os falsos positivos que uma regex poderia trazer, como por exemplo se a tag estivesse comentada, ou se o link estivesse em outra tag - ou no meio do código JavaScript que veio junto com a página - ou se o texto não fosse um HTML, etc). Nesse caso, estou procurando por links http
ou https
, que sejam de um dos domínios indicados (google.com.br
, seial.org
ou pt.wikipedia.org
).
Mas se a ideia é validar URL's, por que não usar uma lib dedicada? Você pode usar, por exemplo, urllib
:
from urllib.parse import urlparse
# verifica se uma URL é válida
def url_valida(url):
try:
parsed_url = urlparse(url)
if not parsed_url:
return False
# deve ser http ou https, hostname deve ser google.com.br ou seila.org
# ou, se for pt.wikipedia.org, verificar o restante da URL (wiki/Diretorio1/etc...)
return parsed_url.scheme in ('http', 'https') and \
(parsed_url.hostname in ('google.com.br', 'seila.org') \
or (parsed_url.hostname == 'pt.wikipedia.org' and parsed_url.path == '/wiki/Diretorio1/diretorio2/diretorio3/naoseikkk5'))
except ValueError:
return False
from bs4 import BeautifulSoup
soup = BeautifulSoup(html, 'html.parser')
for link in soup.find_all('a', href=url_valida):
print(link['href'])
Assim, eu verifico se o link é http
ou https
, e se o endereço é um dos que eu preciso (google.com.br
ou seila.org
, ou, se for pt.wikipedia.org
, o restante da URL deve ser /wiki/Diretorio1/etc...
).
Só para constar, sua regex não funcionava porque o atalho \w
pega quaisquer letras, números ou o caractere _
(ou seja, na prática estava pegando qualquer coisa que se parece com uma URL). Mas no final você usou \w+?
, que usa o quantificador "preguiçoso", que pega a menor quantidade possível de caracteres (leia aqui e aqui para entender melhor). Ou seja, se a URL for http://google.com.br
, e regex só pega http://google.com.b
- veja aqui.
Você até poderia usar a regex sugerida acima (https?://(google\.com\.br|seila\.org|pt\.wikipedia\.org)
), mas como já dito, isso é muito propenso a falsos positivos. A tag pode estar comentada, o link pode estar "solto" no texto (ou como atributo de outra tag, ou no meio do JavaScript que veio junto com a página, etc). Regex só olha para o texto em si, sem levar em conta a estrutura do mesmo (nem sequer precisa ser um HTML). Já usando Beautiful Soup (ou qualquer outra lib própria para HTML/XML), você consegue uma forma mais confiável de tratar os dados (além de ser menos complicado, pois uma regex para validar URL's não é nada trivial, e se for tratar os casos especiais já mencionados, ela ficará cada vez mais complicada e impraticável de usar).
Sem contar que o Beautiful Soup permite mais controle sobre as tags. Por exemplo, se quiser o texto da tag a
, bastaria usar link.text
. Se a tag a
tem outras tags dentro dela (como por exemplo um img
, etc), você pode obter todo o conteúdo da mesma com link.decode_contents()
, e por aí vai. Com regex, você teria que incrementá-la para incluir esses casos, complicando-a ainda mais. Não vale a pena.
E soluções simplistas podem te enganar, por parecer que "funcionou", como é o exemplo da outra resposta. Ela usa .*?
, que basicamente é "zero ou mais ocorrências de qualquer caractere", ou seja, vai aceitar qualquer coisa que venha depois de http
ou https
, até encontrar aspas. Então ela não está restringindo nenhum link, e o uso de .
juntamente com o quantificador lazy (conforme os links já citados acima) torna a regex extremamente ineficiente. Tanto que o exemplo colocado dá timeout, de tão ineficiente que isso é.
Não me entenda mal, regex é legal - eu particularmente gosto bastante - mas nem sempre é a melhor solução.