Perguntas com a tag [scraping]
Scraping é a atividade de extração de conteúdo de uma página Web para diversos fins desde o armazenamento bruto de informações até o refinamento e organização do conteúdo da página.
37
perguntas
1
voto
0respostas
19 visitas
Scraping no instagram
Olá, gostaria de pedir uma ajuda, estou querendo fazer um scraping no Instagram para poder fazer analise de personas e extrair alguns dados como tags mais utilizadas pelas pessoas que seguem um ...
-1
votos
0respostas
14 visitas
Scraping php em mais de um dado na mesma linha
Estou tentando pegar uma lista de empresas e seus códigos do link https://www.infomoney.com.br/cotacoes/empresas-b3/
Montem um scraping para isto, segue o código
$url = "https://www.infomoney.com....
0
votos
1resposta
84 visitas
Problema ao navegar com Selenium (usando Python) em resultados de uma busca apresentados em HTML dinâmico
Olá, saudações!
Estou realizando um scraping de matérias de um jornal pernambucano (Diário de PE) conforme uma busca que fiz com algumas palavras-chave sobre o assunto de interesse. A busca do jornal ...
-1
votos
1resposta
22 visitas
Preciso de ajuda, estou utilizando Node e Request Form para fazer Scraping
Estou tentando desenvolver uma aplicação para pegar dados de um determinado site e enviar para o banco de dados. Seria simples se não tivesse que fazer requisição para acessar esses dados.
Como estou ...
1
voto
0respostas
85 visitas
Error: read ECONNRESET and Error: connect ETIMEDOUT [fechada]
Boa noite galera.
Estou fazendo raspagens (web scraping) de um site, estou utilizando as cheerio e axios do NodeJS.
Quando executo a aplicação ele funciona perfeitamente me trazendo as informações que ...
-1
votos
2respostas
104 visitas
Como eu busco propriedades dentro de uma td / tr usando apenas js
Boa tarde pessoal, preciso buscar dados de dentro de um site (scraping) que estão dentro de uma table, com e . A informação que eu preciso está dentro dos td's. Segue o código:
<table width="95%...
0
votos
0respostas
45 visitas
Remover todas as strings antes das chaves via javascript
Eu tenho um arquivo css e eu gostaria de gerar um JSON, pra isso, o primeiro passo que eu encontrei seria remover todo o seletor antes do colchetes
.meuSeletor {
propriedade: valor;
}
para
{
...
0
votos
0respostas
31 visitas
Como atualizar uma fatia da chave (key) de um dicionário em Python? [duplicada]
Como faço para atualizar apenas uma fatia de uma chave em um dicionário Python? Estou fazendo o scraping de uma página e gostaria de formatar o resultado de modo que a minha chave fique na mesma linha ...
-1
votos
1resposta
103 visitas
Como encontrar um valor entre duas tags em um texto HTML? Sem ser com “XPATH”
Estou tentando extrair o valor entre duas tags HTML com Python, preciso que seja entre duas tags mesmo.
Eu estava fazendo desta forma para extrair valores de um catálogo de uma loja. Mas agora tenho ...
2
votos
1resposta
704 visitas
Web scraping com Python (Selenium e Request)
Olá,
Estou tentando realizar um web scraping em uma página protegida por login, já consegui realizar o acesso tanto via Request, quanto via Selenium, o problema se dá após o login.
A página é a ...
0
votos
1resposta
92 visitas
Web Scraping ou Web Crawler isolar Node
Por favor, estou tentando resgatar a seguinte informação:
"value bra": (<span class="value bra">3,666</span>)
<div class="ticker-financial-market" initiated="true">
<div ...
1
voto
1resposta
348 visitas
Dados não são recuperados webdriver selenium
Estou querendo pegar alguns dados por cidade (todas as mais de 5 mil cidades brasileiras) do site do IBGE.
Ex. de url: https://cidades.ibge.gov.br/brasil/ac/rio-branco/pesquisa/23/27652 ou https://...
9
votos
1resposta
64 visitas
Limitando quantidade de matches do regex com Python
estou com uma certa dificuldade, gostaria de criar um for no Python para retornar uma quantidade específica de match do regex.
Da maneira que fiz, ele está retornando todos os links que existem e que ...
0
votos
1resposta
72 visitas
Raspagem de dados com jsoup e salvando em txt
Opa, como vai galera.
Estou tentando aprender raspagem de dados por conta, e como meu ingles não ajuda, estou me virando nos 30. Basicamente é o seguinte. Ao executar meu codigo, ele lista os atletas ...
0
votos
1resposta
237 visitas
Passar uma lista de URL para função Scrapy
Tenho um API em Python que recebe dois argumentos (URL e uma palavra definida pelo usuário) e fornece em arquivo JSON quantas vezes a palavra especificada aparece na URL.
Entretanto, gostaria de ...
1
voto
0respostas
40 visitas
Tweets incompletos na busca do método searchTwitter
Olá, comunidade do Stackoverflow BR, estou brincando com a biblioteca twitteR da linguagem de programação R, e percebo que nas buscas que realizei, os textos estão cortados, exemplo: "RT @...
1
voto
0respostas
184 visitas
como capturar tokens específicos em python requests
preciso de capturar cookies específicos de um código em python e passa-los depois, o problema é, se eu setar os cookies manualmente eles funcionam por um tempo mas após alguns dias eles expiram. Eu ...
1
voto
1resposta
106 visitas
Web Crawler com view.py do Django
estou fazendo um simples web crawler, usando o django 2.0, eu quero capturar apenas a classe "titulo" das noticias e depois renderizar "return render" para um html simples, segue abaixo minha view.py. ...
5
votos
1resposta
263 visitas
Problemas ao acessar um site via RStudio
Problemas ao conectar há um determinado site via RStudio
url <- "https://www.jusbrasil.com.br/diarios/busca?q=%22licen%C3%A7a+sem+vencimentos%22&idtopico=T10001849&o=data"
links &...
0
votos
1resposta
175 visitas
Fazer Scraping de um Html Externo
Estou tentando pegar um texto de um outro site usando C# (HtmlAgilityPack).
Eu consigo encontrar a div, mas quando tento mostrar na tela o valor, ele mostra o caminho da função.
Acredito que estou ...
1
voto
1resposta
667 visitas
BeautifulSoup - Links verdadeiros do href
Eu estava estudando sobre WebScraping com Python e comecei a utilizar a bilioteca bs4 (BeautifulSoup). Quando comecei a pegar as tags a e o atributo href, percebi que eu não poderia acessar o link se ...
0
votos
1resposta
3mil visitas
C# - Como fazer um simples Web Scraping
Quero realizar a leitura de informações de uma pagina HTML de uma rádio online. Já tentei realizar a leitura utilizando HtmlAgilityPack, contudo sem sucesso pois a pagina em questão que estou ...
2
votos
0respostas
90 visitas
Scraping com R - xpathSApply retornando uma lista de 0
Estou aprendendo a leitura de dados em XML em R.
Queria extrair as informações do futebol brasileiro (nome do campeonato, mandante do jogo, resultado, etc.) deste site: https://www.terra.com.br/...
1
voto
1resposta
740 visitas
Web Scraping - converter tabela HTML em dict python
Estou tentando transformar uma tabela HTML em dict@python, me deparei com alguns problemas e solicito a ajuda de vocês.
Segue até onde consegui chegar...
def impl12(url='http://www.geonames.org/...
-1
votos
1resposta
227 visitas
Raspagem de dados de um site com filtragem tables dinâmicas [fechada]
A plataforma de busca dos programas conceituados na Capes possui uma filtragem dinâmica para a própria consulta. Gostaria de saber como eu coleto os dados de uma saída utilizando Python. Por que, ...
-1
votos
1resposta
173 visitas
Scraping em Python. Montar um insert [fechada]
Gostaria de extrair essa tabela utilizando talvez Scraping em Python:
https://idg.receita.fazenda.gov.br/orientacao/tributaria/pagamentos-e-parcelamentos/codigos-de-receita/codigos-de-receita-de-...
1
voto
1resposta
665 visitas
Como coletar texto quando não tem classe HTML de referência - Crawler Python
Tenho a seguinte situação abaixo:
Quero coletar "Texto para crawler" que está abaixo, como vou navegar até lá sem class ou id?
<td>Texto para crawler</td>
1
voto
1resposta
261 visitas
Como fazer Scrapping de uma página que tem um javascript's usando python ?
Eu preciso fazer scrapping de uma página, porém na entrada da page tem um botão (aparentemente um Javascript) que dá acesso à todo conteúdo da pagina em si.
Usando as libs tradicionais(urllib2, ...
2
votos
1resposta
72 visitas
Scrapping de HTML com Javascript puro
Olá, tenho um html que tem a seguinte sequencia de exemplo:
<links class="canais-teste"> CANAL 1 <links/>
Existem uns 80 trechos desses, queria pegar só os conteudos de dentro dessas ...
2
votos
1resposta
898 visitas
Descobrir link em python
Estou fazendo um web scrapping em python e as vezes me deparo com alguns links e/ou buttons que não estão com o endereço real da url para que você será redirecionando se clicar.
Nesse caso, se eu ...
6
votos
2respostas
2mil visitas
Scraping em Python - ler pdf
Eu fiz um scrapping em Python que pega uma URL de um PDF qualquer, lê e retorna, porém em alguns PDFs estou tendo o problema de vir com uns caracteres assim:
".\nO \xc3\xb3rg\xc3\xa3o tamb\xc3\xa9m ...
3
votos
1resposta
96 visitas
O que Threads compartilham ao fazerem chamadas Http?
O problema: não consigo fazer login em um site mais de uma vez em Threads diferentes.
Minha aplicação é um Console application.
Se eu abrir vários executável, cada um consegue fazer login com sucesso ...
-3
votos
2respostas
418 visitas
Como obter o código HTML de uma página protegida com Cloudflare?
Estou tentando pegar o HTML de uma página com o Jsoup.
Essa página tem o Cloudflare como proteção e, ao invés de obter o código HTML do site que tenho interesse, está me retornando o HTML da página ...
4
votos
2respostas
465 visitas
Web scraping com Javascript puro
Quero fazer um web scraping que lê uma página XML e pega determinado valor que está no "name", mas, não sei exatamente se é possível - só encontrei em como fazer com NodeJS -, é possível fazer com JS ...
10
votos
1resposta
475 visitas
Pegar noticias de um site especifico
No momento estou procurando uma solução para implementar um modulo no meu App para pegar noticias de um site especifico e mostrar na tela do modulo de notícias.
Alguém pode me indicar um caminho?
10
votos
1resposta
1mil visitas
Proteger páginas web de acesso automatizado
Como posso proteger minhas páginas web para que elas não sejam acessadas de forma automatizada?
Pelos bots de Search engines como Googlebot (julgo que a forma básica fosse a metatag com noindex e ...
11
votos
1resposta
8mil visitas
O que este código anti-robo em Javascript faz?
O que este código anti-robo em Javascript faz?
<html><head></head><body onload="challenge();">
<script>
eval(function(p,a,c,k,e,r){e=function(c){return c.toString(a)};...