Perguntas com a tag [web-crawler]
A Web crawler (também conhecido como Web spider) é um programa de computador que navega na World Wide Web de uma maneira metódica e automatizada ou de forma ordenada. Outros termos para Web crawlers são ants, indexadores automáticos, bots, aranhas/spiders, robôs Web Web, ou - especialmente na comunidade FOAF - scutters Web.
65 perguntas
0
votos
1
resposta
111
visitas
CloseableHttpClient habilitar follow redirect
Estou tentando implementar um crawler usando um clinete http da apache (org.apache.hc.client5.http).
Na primeira parte eu preciso fazer um Request GET desligando o FOLLOW REDIRECT.
Para isso usei o ...
0
votos
1
resposta
35
visitas
Problemas com INSERT INTO em Crawler no PHP - Erro ao passar variavel como parametro
<?php
require_once "./vendor/autoload.php";
use Goutte\Client;
$servername = "localhost";
$database = "*******";
$username = "root";
$password = "**...
1
voto
0
respostas
76
visitas
Scrapy - Buscar itens em formulario
sou bem iniciante no assunto, será que conseguem me ajudar? estou testando spiders para buscar licitações.
Porém não consigo retornar os itens pelo formulário.
tenho o código abaixo de exemplo:
...
2
votos
1
resposta
1mil
visitas
Como extrair texto de um elemento selecionado do BeautifulSoap?
Estou fazendo um crawler simples para obter algumas notícias do mercado financeiro. O código abaixo está funcionando corretamente, mas gostaria de extrair apenas a manchete e então excluir os códigos ...
0
votos
1
resposta
273
visitas
Descobrir qual encode foi utilizado em um form
Estou fazendo uma request para o site: http://sistemas.cvm.gov.br/?PAS
Antes de fazer a request, eles fazem um encode dos filtros.
Por exemplo, quando eu passo
Práticas não-equitativas
ele ...
-1
votos
1
resposta
706
visitas
crawler em javascript [fechada]
Atualmente eu desenvolvo crawler em php usando o guzzle, e ultimamente estive procurando se seria possivel usar javascript para criar crawler, usando o ip do usuario e tal, vocês sabem se e possivel? ...
1
voto
1
resposta
982
visitas
Como faço para gerar um arquivo excel com os dados obtidos de um webCrawler?
Estou fazendo um web crawler que deve extrair o nome e o preço dos iphones que aparecem em pesquisa no site da Amazon e gerar um arquivo xlsx com esses dados. No entanto, não estou conseguindo gerar o ...
2
votos
1
resposta
179
visitas
IndexOutOfBoundsException No Get(0) do Crawler jsoup
Gostaria de conseguir os nomes das empresas que aparecem numa pesquisa do tipo "Farmacias em Santo Andre" no Google Maps.
Erro: Exception in thread "main" java.lang.IndexOutOfBoundsException: Index 0 ...
0
votos
1
resposta
632
visitas
Fazer upload de arquivo com javascript puro, (crawler) inputar arquivo
Eu estou crawleando uma página na web e chega um momento em que preciso fazer upload de um arquivo, este crawler é para testar um sistema. O que eu preciso fazer é com o javascript puro inputar um ...
0
votos
1
resposta
171
visitas
Select não atualiza os dados da tabela após selecionar uma opção
Estou tentando selecionar o campo com essa query no entanto o valor do select é alterado mas não recarrega os valores da tabela, mostrando todos. Mas clicando com o mouse, funciona.
document....
-1
votos
1
resposta
725
visitas
Pegar segunda linha de uma tabela
Estou desenvolvendo uma aplicação usando node.js e puppeter para pegar dados de uma página web, o problema que tenho e que não estou conseguindo pegar as colunas que quero dentro da linha selecionada, ...
1
voto
1
resposta
1mil
visitas
Requisições concorrentes usando axios sem perder a sessão
Estou desenvolvendo um crawler usando axios. Como posso fazer múltiplas requisições ou callbacks sem perder a sessão e sem ter que manipular cookies? Observe o exemplo abaixo. Ao fazer login recebo ...
0
votos
1
resposta
211
visitas
Data Crawling em Python
Boa tarde galera.
Resolvi iniciar meus estudos com técnica de crawler em Python.
Montei o seguinte Script utilizando a lib selenium :
# Importando selenium para realizar o crawling
from ...
5
votos
1
resposta
396
visitas
Conteúdo em Carrossel prejudica SEO? O conteúdo do Carousel que está oculto é indexado?
Estou com uma dúvida com relação ao Carrossel e como o conteúdo dele é indexado ou não pelos crawlers de busca.
Primeiramente, acredito que a maioria dos Carousel não são tão amigáveis do ponto de ...
1
voto
1
resposta
80
visitas
index(find) + len(find) ValueError: substring not found Crawler Python
Pessoal preciso de uma ajuda para o código em Python que busca resultado da internet.
Python 3.6
O primeiro da Bitcoin deu certo, o segundo que apresenta erro.
from urllib import request
url = ...
0
votos
0
respostas
229
visitas
Problema ao coletar links de um site
Caros, bom dia! Estou escrevendo um programa em Python para coletar os links de um site. A parte do código a qual coleta os links é:
links = driver.find_elements_by_xpath('//*[@href]')
for link in ...
1
voto
1
resposta
57
visitas
Indexação de página que pode redirecionar
Tenho um determinado site que contem algumas páginas, porém algumas dessas páginas não estão sendo indexadas pelo Google.
Porém as paginas que o Google não indexa não podem ser acessadas se não for ...
0
votos
1
resposta
571
visitas
Crawler de Tweets
estou utilizando a API fornecida pelo tweeter junto ao python para buscar determinados tweets.
O problema é que desejo visualizar os tweets recebidos pela pessoa e não os tweets enviados por ela ...
0
votos
1
resposta
88
visitas
Como nomear cada linha de uma lista url
Consigo nomear cada linha da lista de url, pra retornar apelido que eu dei pra ela?
Tipo assim o resultado foi esse:
Prefeitura Municipal de Bocaiúva do Sul | PRONIM TB 518.01.07-013 |
Prefeitura ...
0
votos
1
resposta
227
visitas
Crawler - como acessar varias paginas
Montei um código no node para buscar a versão do sistema e o nome do município de um portal, porem eu não estou conseguindo fazer ele buscar as informações de outro município apenas de um.
No request ...
3
votos
1
resposta
37
visitas
Como especificar aos motores de busca atualização de um documento HTML?
De acordo com MDN usando a tag <time></time> com atributo datetime <time datetime="yyy-mm-dd hh:mm:ss"></time>, permite que os mecanismos de busca saibam a data de criação do ...
0
votos
1
resposta
588
visitas
Como consigo usar o Scrapy no Anaconda
Olá, estou tendo problemas para criar um projeto com Scrapy.
Estou estudando ciência de dados na faculdade e tenho que usar o Scrapy. Estou usando pelo Anaconda. Primeiro através do Spider IDE(...
0
votos
1
resposta
957
visitas
Scrapy for login
Eu peguei esse código da internet e mudei um pouco, para fazer login no site da cpfl, mas quando eu uso o comando scrapt crawl myproject nada acontece e o comando scrapy runspider items.py da o erro ...
1
voto
0
respostas
70
visitas
Problema com crawler
Estou tentando fazer um crowler simples que pega a temperatura, apenas para estudo, estou usando o simple_html_dom para ler a página, porém na função file_get_html do link acima, apresenta alguns ...
1
voto
1
resposta
152
visitas
Web Crawler com view.py do Django
estou fazendo um simples web crawler, usando o django 2.0, eu quero capturar apenas a classe "titulo" das noticias e depois renderizar "return render" para um html simples, segue abaixo minha view.py. ...
1
voto
0
respostas
71
visitas
Fazer clicks para gráfico online interativo
Preciso fazer a selecionar as informações do lado esquerdo do gráfico de acordo com minha necessidade, mas não consigo referenciar as informações. Não coloquei nenhum código porque tentei de várias ...
0
votos
0
respostas
68
visitas
Robots continua a indexar páginas excluidas
Trabalho em uma empresa que possui uma loja Magento 1.9 e a fim de otimizar a pesquisa organiza estamos tentando excluir centenas de páginas indexadas pelo google, porém, estou enfrentando duas ...
0
votos
1
resposta
342
visitas
Ajuda Chrome Puppeteer Paginação
Estou fazendo um WebCrawler, no seguinte fluxo
Acesso uma URL de busca
Coleto as informações
Executo paginação (aqui esta o erro)
Por o click pra próxima pagina, recarrega a mesma (ai tentei forçar ...
0
votos
1
resposta
274
visitas
Problema no DOMDocument OpenSSL
Estou tentando pegar uma informação em um site usando DOMDocument mas esta dando um erro.
DOMDocument::loadHTMLFile(): SSL operation failed with code 1.
OpenSSL Error messages: error:14090086:SSL
...
1
voto
1
resposta
661
visitas
Em qual linguagem de programação um crawler/scrapper varre a DOM com mais rapidez?
Eu desenvolvi um script no qual eu utilizo a classe DOMDocument do PHP para fazer um crawler em um site de terceiro.
A velocidade do script não atende ao objetivo esperado, gostaria de saber em qual ...
2
votos
2
respostas
403
visitas
Web Crawler buscando texto específico na página
Bem, estou fazendo um web crawler para buscar o valor de uma moeda.
Escrevi o seguinte código em python:
#coding: utf-8
from urllib2 import urlopen
conteudo = urlopen('http://dolarhoje.com/bitcoin'...
0
votos
3
respostas
1mil
visitas
Pegar string dentro de tag <a> sem atributos [duplicada]
Eu estou utilizando dom no PHP para pegar o link de uma tag , onde através do "getAttribute" eu consigo pegar tal link pelo atributo href.
Script do crawler:
<?php
//carregamento da url
$dom = ...
-2
votos
1
resposta
467
visitas
Crawler para varredura de sites [fechada]
Fala Galera, tudo bem?
Eu gostaria de criar um Crawler para fazer a varredura dia em alguns sites específicos e me trazer em uma planilha ou algo do tipo as matérias da home desses sites. No caso eu ...
0
votos
1
resposta
165
visitas
Mechanize com Nokogiri: tentando buscar informações em divs
Olá!
Estou montando um crawler para obter informações de produtos, para isso estou usando o mechanize e por consequência o nokogiri,
Tenho uma URL (http://www.megamamute.com.br/brother%205652) que ...
3
votos
1
resposta
339
visitas
Scrapy não consegue selecionar um form usando xpath
Olá, estou utilizando o scrapy para fazer um crawler para conseguir pegar questões de concuros e etc do site gabarite.com.br, eu consigo pegar a descrição da pergunta a alternativa correta, porém não ...
0
votos
1
resposta
464
visitas
Como faço para integrar meu projeto Django com o Scrapy? [fechada]
Estou querendo desenvolver um projeto simples usando Django onde criarei uma página web e essa página irá capturar dados de outras páginas. O problema é que não consigo integrar o Scrapy com Django.
1
voto
1
resposta
1mil
visitas
Como coletar texto quando não tem classe HTML de referência - Crawler Python
Tenho a seguinte situação abaixo:
Quero coletar "Texto para crawler" que está abaixo, como vou navegar até lá sem class ou id?
<td>Texto para crawler</td>
1
voto
1
resposta
501
visitas
Como fazer Scrapping de uma página que tem um javascript's usando python ?
Eu preciso fazer scrapping de uma página, porém na entrada da page tem um botão (aparentemente um Javascript) que dá acesso à todo conteúdo da pagina em si.
Usando as libs tradicionais(urllib2, ...
0
votos
1
resposta
96
visitas
Os crawlers/bots/web-spiders dos motores de busca copiam e acessam o href de um link, ou "clicam" no <a></a> para ser redirecionados? [fechada]
Eu tenho essa dúvida, porque eu quero desenvolver um portal em Ajax, mas que as páginas possam ser acessadas também via url.
Minha dúvida é: Se o <a> </a> tiver com return false ao ...
3
votos
0
respostas
165
visitas
Problema com crawler multithreading usando o jsoup
Olá,
Estou a desenvolver um crawler com multithreading, cada job (thread) trata de X sites para analisar determinados conteúdos com a lib jsoup. Os sites estão todos acessíveis. O problema é que o ...
2
votos
1
resposta
685
visitas
Web Crawler (Spider) com ajax no JSF usando Node.js ou api JSoup no java
Tenho a tarefa de criar uma interface otimizada para monitor touch, pegando dados de um site (http://www.consultas.der.mg.gov.br/grgx/sgtm/consulta_linha.xhtml).
Esse site dá uma listagem de linhas ...
3
votos
1
resposta
455
visitas
Informação contida em duas páginas Scrapy
Não sou um programador de python, mas estou tentando trabalhar com a aplicação Scrapy.
O exemplo acima é o que preciso, isto roda em extensão do chrome.
Para explicar, eu preciso do post e todas ...
2
votos
1
resposta
4mil
visitas
Criando um CRAWLER php [fechada]
Sou leigo no assunto e gostaria de saber onde encontro mais informações sobre a criação de um crawler para baixar dados e imagens de alguns sites. Procurei bastante mas até agora não encontrei nada ...
3
votos
2
respostas
930
visitas
Quais métodos HTTP um crawler não pode rastrear?
Uma dúvida conceitual (ou não):
Dos métodos HTTP, quais deles não podem ser "rastreados" - ou interpretados - por um crawler?
POST
GET
PUT
PATCH
DELETE
Alguém com conhecimento no assunto pode ...
2
votos
1
resposta
79
visitas
Problemas com parâmetro restrict_xpaths num crawler
Não tenho experiência em Python mas decidi tentar fazer qualquer coisa com o Scrapy, para testes. Assim, estou a tentar recolher os artigos existentes numa determinada página, nomeadamente num ...
0
votos
0
respostas
108
visitas
Crawler para Woocommerce
Amigos boa tarde.
Estou desenvolvendo um crawler em php que vai fazer scrapping de alguns urls que vou informar.
Estou tentando fazer ele puxar os valores de uma url dinâmica, mais não estou ...
0
votos
0
respostas
319
visitas
Fazer um parser de uma pagina
Estou tentando pegar as informações de uma pagina pela url. Estou desenvolvendo em symfony e usando simple_html_dom ou o Crowler. Mas não chego nem perto de fazer o que preciso.
A pagina que estou ...
1
voto
1
resposta
458
visitas
PHP Crawlers para sites externos API PHPcrawl
Boa noite pessoa
Sou novo no assunto, estou tentando construir um motor de busca para sites externos (indexador) com PHP, achei uma API, que disponibiliza um Crawler, porém ele parece apenas pesquisar ...
1
voto
0
respostas
87
visitas
Ler todos os posts e comentários de um usuário do facebook?
Caros amigos,
Eu estou precisando de um help. Preciso fazer um crawler que ler todos os posts com mpremissão de amigos e seus comentários usando php.
Eu por meio dosdk-php consigo fazer um teste ...
1
voto
2
respostas
1mil
visitas
Desenvolvendo um WebCrawler em Python [fechada]
Existe algum projeto open source de webcrawler simples, desenvolvido em Python, para estudo?
Há algum tempo venho estudando / pesquisando sobre o assunto, mas não encontro nada pronto à respeito. Meu ...