-2

Fala Galera, tudo bem?

Eu gostaria de criar um Crawler para fazer a varredura dia em alguns sites específicos e me trazer em uma planilha ou algo do tipo as matérias da home desses sites. No caso eu gostaria de fazer uma varredura em portais de noticias.

Sou leigo no assunto, então gostaria de saber oque eu preciso de recurso (Banco de dados, Servidor, algo do tipo) para criar e qual melhor linguagem para desenvolvimento desse tipo de demanda.

Muito obrigado.

1 Resposta 1

1

Você pode usar os seguintes recursos:

1- Linguagem Python para o crawler usando uma dessas bibliotecas (Scrapy ou BeautifulSoup);

2- Um Banco de dados a sua escolha (MySQL, PostgreSQL, ...), se tiver conhecimento de banco de dados, sugiro que use um não-relacional (MongoDB, CassandraDB, ...), pois dependendo da quantidade de dados, ele trabalha de uma forma mais ágil;

3- Deploy em um servidor para que o programa rode 24h por dia (Heroku, por exemplo);

Não é crucial, mas além do banco de dados, caso deseje armazenar as informações em planilha, é bem simples de se fazer com Python usando a biblioteca openpyxl.

Caso precise de uma referência, segue um projeto pessoal de minha autoria no GitHub que trata exatamente deste assunto: https://github.com/VictorAlessander/Smith

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .