Existe algum projeto open source de webcrawler simples, desenvolvido em Python, para estudo?
Há algum tempo venho estudando / pesquisando sobre o assunto, mas não encontro nada pronto à respeito. Meu objetivo é estudar para criar um open source com as seguintes Features:
- Download do HTML de um link especifico
- Obtém o conteúdo de tags especificas, por exemplo: < p >, < h1 >
- Salva os conteúdos obtidos no banco de dados MySQL
Por isso gostaria de ter uma base de como desenvolver isso em Python de uma forma simples. Caso vocês tenham uma ideia de como fazer (em código) por favor, me dá essa ajuda!
obs: Meu domínio em Python atualmente é básico