Se não sabe muito bem o que está fazendo, eu sugiro que não use regex para isso, existem soluções melhores (e ao longo da resposta entenderemos os motivos).
Mas enfim, sobre o quantificador +
: por padrão ele é "guloso" ou "ganancioso" (em inglês, chamam de greedy), ou seja, ele tenta pegar a maior quantidade possível de caracteres.
E como você usou junto com o ponto (que corresponde a qualquer caractere - exceto quebras de linha), então .+
acaba pegando "tudo".
Mas como depois tem (?=["\'])
, que verifica se tem aspas, então o que .+
faz é ir até o final da string, e depois começa a voltar até encontrar um "
ou '
(este comportamento é explicado em detalhes aqui). Isso quer dizer que a regex acaba pegando tudo desde o primeiro href
até a última aspas.
Mas se você usar .+?
, o quantificador se torna lazy/preguiçoso/não-guloso, passando a pegar a menor quantidade possível de caracteres (isso é explicado aqui, aqui e no link já citado - e apesar destes links não serem em Python, o comportamento do quantificador lazy é o mesmo, por isso sugiro que leia para entender melhor). Com isso, ele pega somente o que está entre as aspas depois do href
. Por isso "funciona".
Só pra constar, também poderia ser assim:
print(re.findall(r'href=["\'](https?://[^"\']+)["\']', req.text))
Em vez do ponto, eu uso [^"\']
, indicando que eu quero qualquer coisa que não seja aspas (o [^
indica uma classe de caracteres negados), assim eu não preciso usar o quantificador lazy, pois eu já garanto que a regex vai parar quando encontrar alguma aspas.
Mas como já dito aqui (e aqui, e aqui), regex não é a solução ideal. O melhor é usar uma lib dedicada, como por exemplo o Beautiful Soup:
import re
from bs4 import BeautifulSoup
soup = BeautifulSoup(req.text, 'html.parser')
for a in soup.find_all('a', href=re.compile('^https?://')):
print(a['href'])
Repare que usei uma regex somente para verificar se o href
começa com "http" ou "https". Mas aqui há uma diferença fundamental: a garantia de que só estou olhando o atributo de href
de tags a
de um HTML.
Isso faz diferença, por exemplo, se uma das tags está comentada:
<!--
comentário etc...
<a href="http://www.google.com/abc/xyz">fad fa</a>
-->
<p>blablabla</p>
<a href="https://www.abc.com">fafdafadsfsdad fa</a>
A regex pega os 2 links acima, o Beautiful Soup só pega o segundo (www.abc.com). Para que a regex consiga detectar que a tag está dentro de um comentário, ficaria bem complicado.
No link já citado tem muitos outros casos que uma regex pode falhar, enquanto que o Beautiful Soup (ou qualquer outro parser de HTML) consegue lidar normalmente, sem problemas.
Regex são legais - eu gosto bastante - e muitas vezes parece ser a melhor solução. Mas nem sempre é (para manipular HTML, com certeza não é).
href
de um HTML, não deveria usar regex e sim alguma lib dedicada: pt.stackoverflow.com/a/440262/112052