0

É possível varrer um site inteiro passando em todos os links em busca de arquivos pdf com scrapy? seria algo parecido com o apache nutch. Eu fiz uma pesquisa mas o pessoal só usa XPath, e XPath não dá pra min pq eu tenho que entrar em vários sites para fazer a pesquisa e fazer um crawler para cada site é humanamente impossível.

obs:

Eu tenho que baixar os pdf(s);

Eu tenho que passar varias url(s) para o crawler.

2
  • Qual a linguagem que você trabalha? 24/04/2019 às 16:12
  • Boa tarde, André. Eu trabalho com php mas eu acho que com o scrapy seria mais rápido já que é uma aplicação pra fazer crawler. 24/04/2019 às 16:18

0

Você deve fazer log-in para responder a esta pergunta.

Pesquise outras perguntas com a tag .