Perguntas com a tag [scraping]
Scraping é a atividade de extração de conteúdo de uma página Web para diversos fins desde o armazenamento bruto de informações até o refinamento e organização do conteúdo da página.
40
perguntas
0
votos
0
respostas
10
visitas
Como extrair dados de um texto, a partir de outro campo dentro do mesmo texto? [duplicada]
Gostaria de extrair o valor de uns campos para uma base de dados a partir de um texto. No entanto, preciso verificar antes se outro campo está vazio, usando linguagem Python. Por exemplo:
"...
-3
votos
0
respostas
21
visitas
Estou tentando pegar dados de um texto, a partir da verificação de outro dado dentro do mesmo texto. Por exemplo, no texto a seguir: [fechada]
"instituição: [14]; sequencial: [286]; data: [20-03-2023]; valor: []; CPF: [888]"
Repare que o campo 'valor' está vazio. Minha necessidade seria, por exemplo: como faço, utilizando ...
-1
votos
2
respostas
46
visitas
Como coletar texto quando não tem classe HTML de referência [fechada]
Estou tentando puxar os dados desse código da imagem. O que me interessa é a leta I onde está marcado de vermelho.
Já tentei dessa forma abaixo, mas não deu certo:
url = 'https://blaze.com/pt/games/...
-1
votos
1
resposta
259
visitas
Como fazer Scraping de uma tabela e inserir os dados no banco de dados?
Bom, basicamente o que eu preciso é fazer um microservice que extraia os preços da cotação da soja dessa tabela: https://www.canalrural.com.br/cotacao/soja/. E depois inserir os dados em um banco de ...
1
voto
0
respostas
321
visitas
Scraping no instagram
Olá, gostaria de pedir uma ajuda, estou querendo fazer um scraping no Instagram para poder fazer analise de personas e extrair alguns dados como tags mais utilizadas pelas pessoas que seguem um ...
0
votos
1
resposta
838
visitas
Problema ao navegar com Selenium (usando Python) em resultados de uma busca apresentados em HTML dinâmico
Estou realizando um scraping de matérias de um jornal pernambucano (Diário de PE) conforme uma busca que fiz com algumas palavras-chave sobre o assunto de interesse. A busca do jornal retorna 10 ...
-1
votos
1
resposta
87
visitas
Preciso de ajuda, estou utilizando Node e Request Form para fazer Scraping
Estou tentando desenvolver uma aplicação para pegar dados de um determinado site e enviar para o banco de dados. Seria simples se não tivesse que fazer requisição para acessar esses dados.
Como estou ...
1
voto
0
respostas
228
visitas
Error: read ECONNRESET and Error: connect ETIMEDOUT [fechada]
Boa noite galera.
Estou fazendo raspagens (web scraping) de um site, estou utilizando as cheerio e axios do NodeJS.
Quando executo a aplicação ele funciona perfeitamente me trazendo as informações que ...
-1
votos
2
respostas
420
visitas
Como eu busco propriedades dentro de uma td / tr usando apenas js
Boa tarde pessoal, preciso buscar dados de dentro de um site (scraping) que estão dentro de uma table, com e . A informação que eu preciso está dentro dos td's. Segue o código:
<table width="95%...
0
votos
0
respostas
78
visitas
Remover todas as strings antes das chaves via javascript
Eu tenho um arquivo css e eu gostaria de gerar um JSON, pra isso, o primeiro passo que eu encontrei seria remover todo o seletor antes do colchetes
.meuSeletor {
propriedade: valor;
}
para
{
...
0
votos
0
respostas
40
visitas
Como atualizar uma fatia da chave (key) de um dicionário em Python? [duplicada]
Como faço para atualizar apenas uma fatia de uma chave em um dicionário Python? Estou fazendo o scraping de uma página e gostaria de formatar o resultado de modo que a minha chave fique na mesma linha ...
0
votos
1
resposta
318
visitas
Como encontrar um valor entre duas tags em um texto HTML? Sem ser com "XPATH"
Estou tentando extrair o valor entre duas tags HTML com Python, preciso que seja entre duas tags mesmo.
Eu estava fazendo desta forma para extrair valores de um catálogo de uma loja. Mas agora tenho ...
3
votos
1
resposta
2mil
visitas
Web scraping com Python (Selenium e Request)
Olá,
Estou tentando realizar um web scraping em uma página protegida por login, já consegui realizar o acesso tanto via Request, quanto via Selenium, o problema se dá após o login.
A página é a ...
0
votos
1
resposta
127
visitas
Web Scraping ou Web Crawler isolar Node
Por favor, estou tentando resgatar a seguinte informação:
"value bra": (<span class="value bra">3,666</span>)
<div class="ticker-financial-market" initiated="true">
<div ...
0
votos
1
resposta
784
visitas
Dados não são recuperados webdriver selenium
Estou querendo pegar alguns dados por cidade (todas as mais de 5 mil cidades brasileiras) do site do IBGE.
Ex. de url: https://cidades.ibge.gov.br/brasil/ac/rio-branco/pesquisa/23/27652 ou https://...
7
votos
1
resposta
100
visitas
Limitando quantidade de matches do regex com Python
estou com uma certa dificuldade, gostaria de criar um for no Python para retornar uma quantidade específica de match do regex.
Da maneira que fiz, ele está retornando todos os links que existem e que ...
0
votos
1
resposta
135
visitas
Raspagem de dados com jsoup e salvando em txt
Opa, como vai galera.
Estou tentando aprender raspagem de dados por conta, e como meu ingles não ajuda, estou me virando nos 30. Basicamente é o seguinte. Ao executar meu codigo, ele lista os atletas ...
0
votos
1
resposta
434
visitas
Passar uma lista de URL para função Scrapy
Tenho um API em Python que recebe dois argumentos (URL e uma palavra definida pelo usuário) e fornece em arquivo JSON quantas vezes a palavra especificada aparece na URL.
Entretanto, gostaria de ...
1
voto
0
respostas
51
visitas
Tweets incompletos na busca do método searchTwitter
Olá, comunidade do Stackoverflow BR, estou brincando com a biblioteca twitteR da linguagem de programação R, e percebo que nas buscas que realizei, os textos estão cortados, exemplo: "RT @...
1
voto
0
respostas
684
visitas
como capturar tokens específicos em python requests
preciso de capturar cookies específicos de um código em python e passa-los depois, o problema é, se eu setar os cookies manualmente eles funcionam por um tempo mas após alguns dias eles expiram. Eu ...
1
voto
1
resposta
146
visitas
Web Crawler com view.py do Django
estou fazendo um simples web crawler, usando o django 2.0, eu quero capturar apenas a classe "titulo" das noticias e depois renderizar "return render" para um html simples, segue abaixo minha view.py. ...
5
votos
1
resposta
427
visitas
Problemas ao acessar um site via RStudio
Problemas ao conectar há um determinado site via RStudio
url <- "https://www.jusbrasil.com.br/diarios/busca?q=%22licen%C3%A7a+sem+vencimentos%22&idtopico=T10001849&o=data"
links &...
0
votos
1
resposta
276
visitas
Fazer Scraping de um Html Externo
Estou tentando pegar um texto de um outro site usando C# (HtmlAgilityPack).
Eu consigo encontrar a div, mas quando tento mostrar na tela o valor, ele mostra o caminho da função.
Acredito que estou ...
1
voto
1
resposta
1mil
visitas
BeautifulSoup - Links verdadeiros do href
Eu estava estudando sobre WebScraping com Python e comecei a utilizar a bilioteca bs4 (BeautifulSoup). Quando comecei a pegar as tags a e o atributo href, percebi que eu não poderia acessar o link se ...
0
votos
1
resposta
5mil
visitas
C# - Como fazer um simples Web Scraping
Quero realizar a leitura de informações de uma pagina HTML de uma rádio online. Já tentei realizar a leitura utilizando HtmlAgilityPack, contudo sem sucesso pois a pagina em questão que estou ...
2
votos
0
respostas
112
visitas
Scraping com R - xpathSApply retornando uma lista de 0
Estou aprendendo a leitura de dados em XML em R.
Queria extrair as informações do futebol brasileiro (nome do campeonato, mandante do jogo, resultado, etc.) deste site: https://www.terra.com.br/...
1
voto
1
resposta
1mil
visitas
Web Scraping - converter tabela HTML em dict python
Estou tentando transformar uma tabela HTML em dict@python, me deparei com alguns problemas e solicito a ajuda de vocês.
Segue até onde consegui chegar...
def impl12(url='http://www.geonames.org/...
-1
votos
1
resposta
312
visitas
Raspagem de dados de um site com filtragem tables dinâmicas [fechada]
A plataforma de busca dos programas conceituados na Capes possui uma filtragem dinâmica para a própria consulta. Gostaria de saber como eu coleto os dados de uma saída utilizando Python. Por que, ...
-1
votos
1
resposta
230
visitas
Scraping em Python. Montar um insert [fechada]
Gostaria de extrair essa tabela utilizando talvez Scraping em Python:
https://idg.receita.fazenda.gov.br/orientacao/tributaria/pagamentos-e-parcelamentos/codigos-de-receita/codigos-de-receita-de-...
1
voto
1
resposta
1mil
visitas
Como coletar texto quando não tem classe HTML de referência - Crawler Python
Tenho a seguinte situação abaixo:
Quero coletar "Texto para crawler" que está abaixo, como vou navegar até lá sem class ou id?
<td>Texto para crawler</td>
1
voto
1
resposta
330
visitas
Como fazer Scrapping de uma página que tem um javascript's usando python ?
Eu preciso fazer scrapping de uma página, porém na entrada da page tem um botão (aparentemente um Javascript) que dá acesso à todo conteúdo da pagina em si.
Usando as libs tradicionais(urllib2, ...
2
votos
1
resposta
166
visitas
Scrapping de HTML com Javascript puro
Olá, tenho um html que tem a seguinte sequencia de exemplo:
<links class="canais-teste"> CANAL 1 <links/>
Existem uns 80 trechos desses, queria pegar só os conteudos de dentro dessas ...
2
votos
1
resposta
2mil
visitas
Descobrir link em python
Estou fazendo um web scrapping em python e as vezes me deparo com alguns links e/ou buttons que não estão com o endereço real da url para que você será redirecionando se clicar.
Nesse caso, se eu ...
6
votos
2
respostas
3mil
visitas
Scraping em Python - ler pdf
Eu fiz um scrapping em Python que pega uma URL de um PDF qualquer, lê e retorna, porém em alguns PDFs estou tendo o problema de vir com uns caracteres assim:
".\nO \xc3\xb3rg\xc3\xa3o tamb\xc3\xa9m ...
3
votos
1
resposta
128
visitas
O que Threads compartilham ao fazerem chamadas Http?
O problema: não consigo fazer login em um site mais de uma vez em Threads diferentes.
Minha aplicação é um Console application.
Se eu abrir vários executável, cada um consegue fazer login com sucesso ...
-3
votos
2
respostas
576
visitas
Como obter o código HTML de uma página protegida com Cloudflare?
Estou tentando pegar o HTML de uma página com o Jsoup.
Essa página tem o Cloudflare como proteção e, ao invés de obter o código HTML do site que tenho interesse, está me retornando o HTML da página ...
4
votos
2
respostas
1mil
visitas
Web scraping com Javascript puro
Quero fazer um web scraping que lê uma página XML e pega determinado valor que está no "name", mas, não sei exatamente se é possível - só encontrei em como fazer com NodeJS -, é possível fazer com JS ...
10
votos
1
resposta
539
visitas
Pegar noticias de um site especifico
No momento estou procurando uma solução para implementar um modulo no meu App para pegar noticias de um site especifico e mostrar na tela do modulo de notícias.
Alguém pode me indicar um caminho?
10
votos
1
resposta
2mil
visitas
Proteger páginas web de acesso automatizado
Como posso proteger minhas páginas web para que elas não sejam acessadas de forma automatizada?
Pelos bots de Search engines como Googlebot (julgo que a forma básica fosse a metatag com noindex e ...
11
votos
1
resposta
9mil
visitas
O que este código anti-robo em Javascript faz?
O que este código anti-robo em Javascript faz?
<html><head></head><body onload="challenge();">
<script>
eval(function(p,a,c,k,e,r){e=function(c){return c.toString(a)};...