Respostas interessantes marcadas com a tag

10 votos
Aceito

Web Crawler (Spider) com ajax no JSF usando Node.js ou api JSoup no java

Fazer crawler de aplicações JSF é praticamente inviável por uma simples razão: JSF é stateful - em 99.9% dos casos. Isso significa que você não pode fazer uma requisição arbitrária para o site, senão....
utluiz's user avatar
  • 74,5mil
4 votos
Aceito

Pegar string dentro de tag <a> sem atributos

Para você recuperar o valor dos atributos / recuperar a string dentro de uma tag, faça o seguinte: Exemplo: //carregamento da url $dom = new DOMDocument(); libxml_use_internal_errors(true); $dom->...
NoobSaibot's user avatar
  • 9.756
3 votos
Aceito

CloseableHttpClient habilitar follow redirect

Você pode ter mais de um objeto definido no try with resources, só precisa chamar de nomes diferentes. Você pode usar a classe HttpClients para buildar o segundo client. try (CloseableHttpClient ...
zn43's user avatar
  • 121
3 votos
Aceito

Como extrair texto de um elemento selecionado do BeautifulSoap?

Use o método get_text: import requests, bs4,os url = ('https://valor.globo.com/') res = requests.get(url) objSoup=bs4.BeautifulSoup(res.text,features="html.parser") newsValor = objSoup....
Lucas's user avatar
  • 4.275
3 votos

Descobrir qual encode foi utilizado em um form

O encode parece ser ISO-8859-1, porque está usando apenas um caractere por letr acentuada. Se fosse UTF-8 usaria duas ou mais. A propósito, essa transformação de "á" para %E1, entre outras, não é ...
epx's user avatar
  • 8.735
3 votos
Aceito

Em qual linguagem de programação um crawler/scrapper varre a DOM com mais rapidez?

Linguagens de programação não possuem velocidade como característica. Algumas possuem características que ajudam ter mais velocidade. Bibliotecas já podem ter velocidade, mas a padrão não precisa ser ...
Maniero's user avatar
  • 483mil
3 votos
Aceito

Informação contida em duas páginas Scrapy

A maneira tradicional de extrair dados de múltiplas páginas e usar o mecanismo de passar dados entre uma requisição e outra usando o dicionário meta. Funciona assim: no callback que está extraindo o ...
elias's user avatar
  • 3.222
2 votos
Aceito

Problemas com parâmetro restrict_xpaths num crawler

De acordo com esta resposta, alterou-se a estrutura do código para funcionar como pretendido. Aqui fica o resultado final: from scrapy.spiders import Spider from stack.items import StackItem class ...
w00t's user avatar
  • 41
2 votos
Aceito

Como coletar texto quando não tem classe HTML de referência - Crawler Python

Você pode utilizar a biblioteca BeautifulSoup junto ao comando .find_all() para extrair todas as tags td de um site, sem especificar nenhuma class, name ou id, por exemplo. Código: from bs4 import ...
dot.Py's user avatar
  • 985
2 votos
Aceito

Scrapy não consegue selecionar um form usando xpath

Creio que este exemplo seja útil para você. Não abordei todos os casos possíveis. Há questões de certo e errado que não cheguei a testar. Mas como o seu problema era pegar as alternativas, este ...
fsola's user avatar
  • 404
2 votos

Pegar string dentro de tag <a> sem atributos

Pode utilizar strip_tags: <?php $text = '<a href="link"> <font style="font-size: 14px;" color="black" face="arial"><b>String que eu quero pegar</b></font> </a>...
MagicHat's user avatar
  • 12,6mil
2 votos
Aceito

Crawler de Tweets

Você está recebendo os tweets enviados pela pessoa, porque é isso que o método .user_timeline() faz... No tweeter não existe enviar tweets para alguém. O que existe é mentions ou direct message. ...
nosklo's user avatar
  • 5.918
2 votos
Aceito

Como especificar aos motores de busca atualização de um documento HTML?

Vc pode construir seu sitemap.xml usando a tag <changefreq></changefreq> para dizer aos crawlers que vc quer que seu conteúdo seja reindexado, de hora em hora, todo dia, ou semanalmente ...
hugocsl's user avatar
  • 66,8mil
2 votos

Web Crawler buscando texto específico na página

Você pode fazer mais facilmente com a biblioteca MechanicalSoup (https://github.com/MechanicalSoup/MechanicalSoup) Para usar basta instalar no seu ambiente: pip install MechanicalSoup Para pegar o ...
Ricardo's user avatar
  • 121
2 votos

Data Crawling em Python

Você pode utilizar a biblioteca python padrão para csv, abaixo segue um exemplo de como pegar valor de uma listas e converter para csv: import csv with open(meuArquivo, 'wb', newline='') as arquivo: ...
Davi Luis's user avatar
  • 133
2 votos
Aceito

crawler em javascript

Conforme colocado pelo Guilherme Nascimento nos comentários, você pode desenvolver um crawler em JavaScript utilizando Node.js. Existem até bibliotecas que te ajudam, através de um headless browser (...
Luiz Felipe's user avatar
  • 36,3mil
1 voto
Aceito

Como faço para gerar um arquivo excel com os dados obtidos de um webCrawler?

De uma olhada no exemplo, primeiro mudei as variaveis globais var para const evite usar var. Depois disso em ws.cell(), recebe o primeiro parametro é o número da linha que coloquei o index + 1 e o ...
Anderson Henrique's user avatar
1 voto
Aceito

IndexOutOfBoundsException No Get(0) do Crawler jsoup

Segundo a documentação do Jsoup, o método getElementsByAttribute recebe o nome do atributo a ser buscado. No caso do seu HTML, você parece estar querendo buscar este elemento: <h3 class="...
hkotsubo's user avatar
  • 66,4mil
1 voto

Requisições concorrentes usando axios sem perder a sessão

Você pode utilizar um módulo que suporte cookies no seu axios, como por exemplo o axios-cookiejar-support. axios-cookiejar-support const axios = require('axios').default; const ...
Sorack's user avatar
  • 26,5mil
1 voto

Conteúdo em Carrossel prejudica SEO? O conteúdo do Carousel que está oculto é indexado?

Estive lendo este artigo a um tempo atrás pois tive a mesma dúvida : https://www.workhorsemkt.com/pros-and-cons-content-carousels/ Por sua natureza, os carrosséis exigem o carregamento de imagens e ...
isaacmeira's user avatar
1 voto
Aceito

Indexação de página que pode redirecionar

Vou te dar uma resposta que acho que pode te esclarecer alguns pontos. Apesar disso pode ser que não seja a resposta exata para o seu problema, no entenda pode te ajudar a eliminar algumas hipóteses. ...
hugocsl's user avatar
  • 66,8mil
1 voto

Scrapy for login

O problema é que o formulário de entrada de usuário e senha não está na página que você está carregando - a página que você está carregando só tem código javascript, e o formulário é montado por esse ...
nosklo's user avatar
  • 5.918
1 voto

Web Crawler com view.py do Django

De acordo com a documentação do Django, a forma de retornar um object HttpResponse com um template e contexto é: from django.http import HttpResponse from django.template import loader def my_view(...
JonatasCD's user avatar
  • 295
1 voto

Pegar string dentro de tag <a> sem atributos

Use o método evaluate() da classe DOMXPath: <?php $html = "<a href=\"link\"><font style=\"font-size: 14px;\" color=\"black\" face=\"arial\"><b>String que eu quero pegar</b>...
Lacobus's user avatar
  • 13,8mil
1 voto
Aceito

Crawler para varredura de sites

Você pode usar os seguintes recursos: 1- Linguagem Python para o crawler usando uma dessas bibliotecas (Scrapy ou BeautifulSoup); 2- Um Banco de dados a sua escolha (MySQL, PostgreSQL, ...), se ...
Victor Alessander's user avatar
1 voto
Aceito

Como faço para integrar meu projeto Django com o Scrapy?

Existe possibilidade de usar os 'pipeline' do Scrapy para integrar diretamente com os models do Django (link). Também é possível executar o teu spider como uma script que te retorna um 'json' (link). ...
Heitor Tancredo's user avatar
1 voto

Como fazer Scrapping de uma página que tem um javascript's usando python ?

Eu costumo usar o selenium para fazer webscrapping em sites que tem muito javascript. Normalmente, utilizo o Selenium com Java, mas em Python funciona também. Abaixo, um código com um exemplo bobo, ...
eduardosouza's user avatar
1 voto

Criando um CRAWLER php

É necessário php? Então, primeiramente é necessário entender a sua necessidade para ver se realmente precisamos fazer o uso de php nesse caso, uma vez que um crawler trabalha em cima de requisições ...
LF Ziron's user avatar
  • 2.225
1 voto

Consulta Simples Nacional Optantes (por CNPJ)

Me parece que o site da receita foi atualizado, nem o captcha era mais carregado e após eu ter ajustado isso, não validava mais o post dando erro invalid postback or callback validation. Tive que ...
Márcio Bortolini's user avatar

Only top scored, non community-wiki answers of a minimum length are eligible