Skip to main content

Perguntas com a tag [web-crawler]

A Web crawler (também conhecido como Web spider) é um programa de computador que navega na World Wide Web de uma maneira metódica e automatizada ou de forma ordenada. Outros termos para Web crawlers são ants, indexadores automáticos, bots, aranhas/spiders, robôs Web Web, ou - especialmente na comunidade FOAF - scutters Web.

Filtrar por
Ordenado por
Com tags
17 votos
4 respostas
766 visitas

Como não permitir indexação por máquinas de busca?

Esse dias coloquei o meu domínio no Google e ele buscou meu Web Site e meu Sistema. Gostaria que meu Sistema fosse escondido do Google e de qualquer outra máquina de busca. Teria como fazer isso? ...
Marconi's user avatar
  • 18mil
7 votos
1 resposta
232 visitas

Necessidade de rendenização Server Side para conteúdo javascript - AngularJs

Sabendo que a partir deste ano o crawler do google executa javascript, considerando a indexação de um conteúdo que é exibido usando AngularJs, ainda existe a necessidade de uma versão do mesmo ...
gpupo's user avatar
  • 2.191
2 votos
1 resposta
1mil visitas

Como extrair texto de um elemento selecionado do BeautifulSoap?

Estou fazendo um crawler simples para obter algumas notícias do mercado financeiro. O código abaixo está funcionando corretamente, mas gostaria de extrair apenas a manchete e então excluir os códigos ...
Edu Barros's user avatar