Perguntas com a tag [web-crawler]
A Web crawler (também conhecido como Web spider) é um programa de computador que navega na World Wide Web de uma maneira metódica e automatizada ou de forma ordenada. Outros termos para Web crawlers são ants, indexadores automáticos, bots, aranhas/spiders, robôs Web Web, ou - especialmente na comunidade FOAF - scutters Web.
3 perguntas
17
votos
4
respostas
766
visitas
Como não permitir indexação por máquinas de busca?
Esse dias coloquei o meu domínio no Google e ele buscou meu Web Site e meu Sistema.
Gostaria que meu Sistema fosse escondido do Google e de qualquer outra máquina de busca.
Teria como fazer isso?
...
7
votos
1
resposta
232
visitas
Necessidade de rendenização Server Side para conteúdo javascript - AngularJs
Sabendo que a partir deste ano o crawler do google executa javascript, considerando a indexação de um conteúdo que é exibido usando AngularJs, ainda existe a necessidade de uma versão do mesmo ...
2
votos
1
resposta
1mil
visitas
Como extrair texto de um elemento selecionado do BeautifulSoap?
Estou fazendo um crawler simples para obter algumas notícias do mercado financeiro. O código abaixo está funcionando corretamente, mas gostaria de extrair apenas a manchete e então excluir os códigos ...