Estou tentando aprender a criar um webcrawler. Parte do código será para extrair links em uma página web (links que comecem por http ou https):
import re
urls = re.findall(r'href=[\'"]?([^\'" >]+)', s)
Como posso modificar ou criar uma nova rgex que apenas pegue links que comecem por http ou https? Não quero guardar a palavra "href" apenas "http://..." ou "https://..." Não servem, por exemplo: "media/teste", "g1/noticia"
padrao = re.findall(r'href=[\'"]https?://[\w:/\.\'"_]+' ,html)
padrao também não ficou 100% funcional:
Sairam alguns com " no final, o que não era para ocorrer!