Skip to main content

Perguntas com a tag [web-crawler]

A Web crawler (também conhecido como Web spider) é um programa de computador que navega na World Wide Web de uma maneira metódica e automatizada ou de forma ordenada. Outros termos para Web crawlers são ants, indexadores automáticos, bots, aranhas/spiders, robôs Web Web, ou - especialmente na comunidade FOAF - scutters Web.

Filtrar por
Ordenado por
Com tags
0 votos
1 resposta
111 visitas

CloseableHttpClient habilitar follow redirect

Estou tentando implementar um crawler usando um clinete http da apache (org.apache.hc.client5.http). Na primeira parte eu preciso fazer um Request GET desligando o FOLLOW REDIRECT. Para isso usei o ...
Israel Zebulon's user avatar
0 votos
1 resposta
35 visitas

Problemas com INSERT INTO em Crawler no PHP - Erro ao passar variavel como parametro

<?php require_once "./vendor/autoload.php"; use Goutte\Client; $servername = "localhost"; $database = "*******"; $username = "root"; $password = "**...
Alexandre Silveira's user avatar
1 voto
0 respostas
76 visitas

Scrapy - Buscar itens em formulario

sou bem iniciante no assunto, será que conseguem me ajudar? estou testando spiders para buscar licitações. Porém não consigo retornar os itens pelo formulário. tenho o código abaixo de exemplo: ...
Daniel Custodio's user avatar
2 votos
1 resposta
1mil visitas

Como extrair texto de um elemento selecionado do BeautifulSoap?

Estou fazendo um crawler simples para obter algumas notícias do mercado financeiro. O código abaixo está funcionando corretamente, mas gostaria de extrair apenas a manchete e então excluir os códigos ...
Edu Barros's user avatar
0 votos
1 resposta
273 visitas

Descobrir qual encode foi utilizado em um form

Estou fazendo uma request para o site: http://sistemas.cvm.gov.br/?PAS Antes de fazer a request, eles fazem um encode dos filtros. Por exemplo, quando eu passo Práticas não-equitativas ele ...
Willian Lucio's user avatar
-1 votos
1 resposta
706 visitas

crawler em javascript [fechada]

Atualmente eu desenvolvo crawler em php usando o guzzle, e ultimamente estive procurando se seria possivel usar javascript para criar crawler, usando o ip do usuario e tal, vocês sabem se e possivel? ...
Cyber Hacker's user avatar
1 voto
1 resposta
982 visitas

Como faço para gerar um arquivo excel com os dados obtidos de um webCrawler?

Estou fazendo um web crawler que deve extrair o nome e o preço dos iphones que aparecem em pesquisa no site da Amazon e gerar um arquivo xlsx com esses dados. No entanto, não estou conseguindo gerar o ...
Marcos Davi Spindola 's user avatar
2 votos
1 resposta
179 visitas

IndexOutOfBoundsException No Get(0) do Crawler jsoup

Gostaria de conseguir os nomes das empresas que aparecem numa pesquisa do tipo "Farmacias em Santo Andre" no Google Maps. Erro: Exception in thread "main" java.lang.IndexOutOfBoundsException: Index 0 ...
Eugenio Maria's user avatar
0 votos
1 resposta
632 visitas

Fazer upload de arquivo com javascript puro, (crawler) inputar arquivo

Eu estou crawleando uma página na web e chega um momento em que preciso fazer upload de um arquivo, este crawler é para testar um sistema. O que eu preciso fazer é com o javascript puro inputar um ...
Felipe Tolentino's user avatar
0 votos
1 resposta
171 visitas

Select não atualiza os dados da tabela após selecionar uma opção

Estou tentando selecionar o campo com essa query no entanto o valor do select é alterado mas não recarrega os valores da tabela, mostrando todos. Mas clicando com o mouse, funciona. document....
Gustavobezerra's user avatar
-1 votos
1 resposta
725 visitas

Pegar segunda linha de uma tabela

Estou desenvolvendo uma aplicação usando node.js e puppeter para pegar dados de uma página web, o problema que tenho e que não estou conseguindo pegar as colunas que quero dentro da linha selecionada, ...
Edson Guido's user avatar
1 voto
1 resposta
1mil visitas

Requisições concorrentes usando axios sem perder a sessão

Estou desenvolvendo um crawler usando axios. Como posso fazer múltiplas requisições ou callbacks sem perder a sessão e sem ter que manipular cookies? Observe o exemplo abaixo. Ao fazer login recebo ...
ed-Info's user avatar
  • 63
0 votos
1 resposta
211 visitas

Data Crawling em Python

Boa tarde galera. Resolvi iniciar meus estudos com técnica de crawler em Python. Montei o seguinte Script utilizando a lib selenium : # Importando selenium para realizar o crawling from ...
HV Lopes's user avatar
  • 343
5 votos
1 resposta
396 visitas

Conteúdo em Carrossel prejudica SEO? O conteúdo do Carousel que está oculto é indexado?

Estou com uma dúvida com relação ao Carrossel e como o conteúdo dele é indexado ou não pelos crawlers de busca. Primeiramente, acredito que a maioria dos Carousel não são tão amigáveis do ponto de ...
hugocsl's user avatar
  • 66,9mil
1 voto
1 resposta
80 visitas

index(find) + len(find) ValueError: substring not found Crawler Python

Pessoal preciso de uma ajuda para o código em Python que busca resultado da internet. Python 3.6 O primeiro da Bitcoin deu certo, o segundo que apresenta erro. from urllib import request url = ...
Charles Roberto's user avatar
0 votos
0 respostas
229 visitas

Problema ao coletar links de um site

Caros, bom dia! Estou escrevendo um programa em Python para coletar os links de um site. A parte do código a qual coleta os links é: links = driver.find_elements_by_xpath('//*[@href]') for link in ...
Jordan Garcia's user avatar
1 voto
1 resposta
57 visitas

Indexação de página que pode redirecionar

Tenho um determinado site que contem algumas páginas, porém algumas dessas páginas não estão sendo indexadas pelo Google. Porém as paginas que o Google não indexa não podem ser acessadas se não for ...
MSLacerda's user avatar
  • 611
0 votos
1 resposta
571 visitas

Crawler de Tweets

estou utilizando a API fornecida pelo tweeter junto ao python para buscar determinados tweets. O problema é que desejo visualizar os tweets recebidos pela pessoa e não os tweets enviados por ela ...
HV Lopes's user avatar
  • 343
0 votos
1 resposta
88 visitas

Como nomear cada linha de uma lista url

Consigo nomear cada linha da lista de url, pra retornar apelido que eu dei pra ela? Tipo assim o resultado foi esse: Prefeitura Municipal de Bocaiúva do Sul | PRONIM TB 518.01.07-013 | Prefeitura ...
jackbauer's user avatar
0 votos
1 resposta
227 visitas

Crawler - como acessar varias paginas

Montei um código no node para buscar a versão do sistema e o nome do município de um portal, porem eu não estou conseguindo fazer ele buscar as informações de outro município apenas de um. No request ...
jackbauer's user avatar
3 votos
1 resposta
37 visitas

Como especificar aos motores de busca atualização de um documento HTML?

De acordo com MDN usando a tag <time></time> com atributo datetime <time datetime="yyy-mm-dd hh:mm:ss"></time>, permite que os mecanismos de busca saibam a data de criação do ...
ayelsew's user avatar
  • 887
0 votos
1 resposta
588 visitas

Como consigo usar o Scrapy no Anaconda

Olá, estou tendo problemas para criar um projeto com Scrapy. Estou estudando ciência de dados na faculdade e tenho que usar o Scrapy. Estou usando pelo Anaconda. Primeiro através do Spider IDE(...
Rafael Ventura's user avatar
0 votos
1 resposta
957 visitas

Scrapy for login

Eu peguei esse código da internet e mudei um pouco, para fazer login no site da cpfl, mas quando eu uso o comando scrapt crawl myproject nada acontece e o comando scrapy runspider items.py da o erro ...
guilherme's user avatar
  • 113
1 voto
0 respostas
70 visitas

Problema com crawler

Estou tentando fazer um crowler simples que pega a temperatura, apenas para estudo, estou usando o simple_html_dom para ler a página, porém na função file_get_html do link acima, apresenta alguns ...
Leandro's user avatar
  • 457
1 voto
1 resposta
152 visitas

Web Crawler com view.py do Django

estou fazendo um simples web crawler, usando o django 2.0, eu quero capturar apenas a classe "titulo" das noticias e depois renderizar "return render" para um html simples, segue abaixo minha view.py. ...
Bruno Lima's user avatar
1 voto
0 respostas
71 visitas

Fazer clicks para gráfico online interativo

Preciso fazer a selecionar as informações do lado esquerdo do gráfico de acordo com minha necessidade, mas não consigo referenciar as informações. Não coloquei nenhum código porque tentei de várias ...
Leandro Lazari's user avatar
0 votos
0 respostas
68 visitas

Robots continua a indexar páginas excluidas

Trabalho em uma empresa que possui uma loja Magento 1.9 e a fim de otimizar a pesquisa organiza estamos tentando excluir centenas de páginas indexadas pelo google, porém, estou enfrentando duas ...
Max William Vitorino's user avatar
0 votos
1 resposta
342 visitas

Ajuda Chrome Puppeteer Paginação

Estou fazendo um WebCrawler, no seguinte fluxo Acesso uma URL de busca Coleto as informações Executo paginação (aqui esta o erro) Por o click pra próxima pagina, recarrega a mesma (ai tentei forçar ...
bgsouza's user avatar
  • 129
0 votos
1 resposta
274 visitas

Problema no DOMDocument OpenSSL

Estou tentando pegar uma informação em um site usando DOMDocument mas esta dando um erro. DOMDocument::loadHTMLFile(): SSL operation failed with code 1. OpenSSL Error messages: error:14090086:SSL ...
Xiro Nakamura's user avatar
1 voto
1 resposta
661 visitas

Em qual linguagem de programação um crawler/scrapper varre a DOM com mais rapidez?

Eu desenvolvi um script no qual eu utilizo a classe DOMDocument do PHP para fazer um crawler em um site de terceiro. A velocidade do script não atende ao objetivo esperado, gostaria de saber em qual ...
Charles Fay's user avatar
  • 1.195
2 votos
2 respostas
403 visitas

Web Crawler buscando texto específico na página

Bem, estou fazendo um web crawler para buscar o valor de uma moeda. Escrevi o seguinte código em python: #coding: utf-8 from urllib2 import urlopen conteudo = urlopen('http://dolarhoje.com/bitcoin'...
user avatar
0 votos
3 respostas
1mil visitas

Pegar string dentro de tag <a> sem atributos [duplicada]

Eu estou utilizando dom no PHP para pegar o link de uma tag , onde através do "getAttribute" eu consigo pegar tal link pelo atributo href. Script do crawler: <?php //carregamento da url $dom = ...
Charles Fay's user avatar
  • 1.195
-2 votos
1 resposta
467 visitas

Crawler para varredura de sites [fechada]

Fala Galera, tudo bem? Eu gostaria de criar um Crawler para fazer a varredura dia em alguns sites específicos e me trazer em uma planilha ou algo do tipo as matérias da home desses sites. No caso eu ...
Guilherme Dias Ribeiro's user avatar
0 votos
1 resposta
165 visitas

Mechanize com Nokogiri: tentando buscar informações em divs

Olá! Estou montando um crawler para obter informações de produtos, para isso estou usando o mechanize e por consequência o nokogiri, Tenho uma URL (http://www.megamamute.com.br/brother%205652) que ...
fzuid's user avatar
  • 3
3 votos
1 resposta
339 visitas

Scrapy não consegue selecionar um form usando xpath

Olá, estou utilizando o scrapy para fazer um crawler para conseguir pegar questões de concuros e etc do site gabarite.com.br, eu consigo pegar a descrição da pergunta a alternativa correta, porém não ...
joao paulo santos almeida's user avatar
0 votos
1 resposta
464 visitas

Como faço para integrar meu projeto Django com o Scrapy? [fechada]

Estou querendo desenvolver um projeto simples usando Django onde criarei uma página web e essa página irá capturar dados de outras páginas. O problema é que não consigo integrar o Scrapy com Django.
Lucas Souto's user avatar
1 voto
1 resposta
1mil visitas

Como coletar texto quando não tem classe HTML de referência - Crawler Python

Tenho a seguinte situação abaixo: Quero coletar "Texto para crawler" que está abaixo, como vou navegar até lá sem class ou id? <td>Texto para crawler</td>
DaniloAlbergardi's user avatar
1 voto
1 resposta
501 visitas

Como fazer Scrapping de uma página que tem um javascript's usando python ?

Eu preciso fazer scrapping de uma página, porém na entrada da page tem um botão (aparentemente um Javascript) que dá acesso à todo conteúdo da pagina em si. Usando as libs tradicionais(urllib2, ...
Wellington Araujo Nogueira's user avatar
0 votos
1 resposta
96 visitas

Os crawlers/bots/web-spiders dos motores de busca copiam e acessam o href de um link, ou "clicam" no <a></a> para ser redirecionados? [fechada]

Eu tenho essa dúvida, porque eu quero desenvolver um portal em Ajax, mas que as páginas possam ser acessadas também via url. Minha dúvida é: Se o <a> </a> tiver com return false ao ...
Seu Madruga's user avatar
  • 2.593
3 votos
0 respostas
165 visitas

Problema com crawler multithreading usando o jsoup

Olá, Estou a desenvolver um crawler com multithreading, cada job (thread) trata de X sites para analisar determinados conteúdos com a lib jsoup. Os sites estão todos acessíveis. O problema é que o ...
user2989745's user avatar
2 votos
1 resposta
685 visitas

Web Crawler (Spider) com ajax no JSF usando Node.js ou api JSoup no java

Tenho a tarefa de criar uma interface otimizada para monitor touch, pegando dados de um site (http://www.consultas.der.mg.gov.br/grgx/sgtm/consulta_linha.xhtml). Esse site dá uma listagem de linhas ...
Eric Silva's user avatar
3 votos
1 resposta
455 visitas

Informação contida em duas páginas Scrapy

Não sou um programador de python, mas estou tentando trabalhar com a aplicação Scrapy. O exemplo acima é o que preciso, isto roda em extensão do chrome. Para explicar, eu preciso do post e todas ...
Luiz Brz Developer's user avatar
2 votos
1 resposta
4mil visitas

Criando um CRAWLER php [fechada]

Sou leigo no assunto e gostaria de saber onde encontro mais informações sobre a criação de um crawler para baixar dados e imagens de alguns sites. Procurei bastante mas até agora não encontrei nada ...
Vitor's user avatar
  • 21
3 votos
2 respostas
930 visitas

Quais métodos HTTP um crawler não pode rastrear?

Uma dúvida conceitual (ou não): Dos métodos HTTP, quais deles não podem ser "rastreados" - ou interpretados - por um crawler? POST GET PUT PATCH DELETE Alguém com conhecimento no assunto pode ...
Marllon Nasser's user avatar
2 votos
1 resposta
79 visitas

Problemas com parâmetro restrict_xpaths num crawler

Não tenho experiência em Python mas decidi tentar fazer qualquer coisa com o Scrapy, para testes. Assim, estou a tentar recolher os artigos existentes numa determinada página, nomeadamente num ...
w00t's user avatar
  • 41
0 votos
0 respostas
108 visitas

Crawler para Woocommerce

Amigos boa tarde. Estou desenvolvendo um crawler em php que vai fazer scrapping de alguns urls que vou informar. Estou tentando fazer ele puxar os valores de uma url dinâmica, mais não estou ...
jeann sebold's user avatar
0 votos
0 respostas
319 visitas

Fazer um parser de uma pagina

Estou tentando pegar as informações de uma pagina pela url. Estou desenvolvendo em symfony e usando simple_html_dom ou o Crowler. Mas não chego nem perto de fazer o que preciso. A pagina que estou ...
Marcius Leandro's user avatar
1 voto
1 resposta
458 visitas

PHP Crawlers para sites externos API PHPcrawl

Boa noite pessoa Sou novo no assunto, estou tentando construir um motor de busca para sites externos (indexador) com PHP, achei uma API, que disponibiliza um Crawler, porém ele parece apenas pesquisar ...
João Pacheco's user avatar
1 voto
0 respostas
87 visitas

Ler todos os posts e comentários de um usuário do facebook?

Caros amigos, Eu estou precisando de um help. Preciso fazer um crawler que ler todos os posts com mpremissão de amigos e seus comentários usando php. Eu por meio dosdk-php consigo fazer um teste ...
Paulo-karica's user avatar
1 voto
2 respostas
1mil visitas

Desenvolvendo um WebCrawler em Python [fechada]

Existe algum projeto open source de webcrawler simples, desenvolvido em Python, para estudo? Há algum tempo venho estudando / pesquisando sobre o assunto, mas não encontro nada pronto à respeito. Meu ...
Gabriel Masson's user avatar