Perguntas com a tag [scraping]

Scraping é a atividade de extração de conteúdo de uma página Web para diversos fins desde o armazenamento bruto de informações até o refinamento e organização do conteúdo da página.

Filtrar por
Ordenado por
Com tags
-1 votos
1 resposta
308 visitas

Fazer Scraping de um Html Externo

Estou tentando pegar um texto de um outro site usando C# (HtmlAgilityPack). Eu consigo encontrar a div, mas quando tento mostrar na tela o valor, ele mostra o caminho da função. Acredito que estou ...
-1 votos
2 respostas
70 visitas

Como coletar texto quando não tem classe HTML de referência [fechada]

Estou tentando puxar os dados desse código da imagem. O que me interessa é a leta I onde está marcado de vermelho. Já tentei dessa forma abaixo, mas não deu certo: url = 'https://blaze.com/pt/games/...
-1 votos
1 resposta
396 visitas

Como fazer Scraping de uma tabela e inserir os dados no banco de dados?

Bom, basicamente o que eu preciso é fazer um microservice que extraia os preços da cotação da soja dessa tabela: https://www.canalrural.com.br/cotacao/soja/. E depois inserir os dados em um banco de ...
0 votos
1 resposta
1mil visitas

Problema ao navegar com Selenium (usando Python) em resultados de uma busca apresentados em HTML dinâmico

Estou realizando um scraping de matérias de um jornal pernambucano (Diário de PE) conforme uma busca que fiz com algumas palavras-chave sobre o assunto de interesse. A busca do jornal retorna 10 ...
1 voto
0 respostas
523 visitas

Scraping no instagram

Olá, gostaria de pedir uma ajuda, estou querendo fazer um scraping no Instagram para poder fazer analise de personas e extrair alguns dados como tags mais utilizadas pelas pessoas que seguem um ...
5 votos
1 resposta
501 visitas

Problemas ao acessar um site via RStudio

Problemas ao conectar há um determinado site via RStudio url <- "https://www.jusbrasil.com.br/diarios/busca?q=%22licen%C3%A7a+sem+vencimentos%22&idtopico=T10001849&o=data" links &...
11 votos
1 resposta
9mil visitas

O que este código anti-robo em Javascript faz?

O que este código anti-robo em Javascript faz? <html><head></head><body onload="challenge();"> <script> eval(function(p,a,c,k,e,r){e=function(c){return c.toString(a)};...
-1 votos
1 resposta
145 visitas

Preciso de ajuda, estou utilizando Node e Request Form para fazer Scraping

Estou tentando desenvolver uma aplicação para pegar dados de um determinado site e enviar para o banco de dados. Seria simples se não tivesse que fazer requisição para acessar esses dados. Como estou ...
1 voto
0 respostas
297 visitas

Error: read ECONNRESET and Error: connect ETIMEDOUT [fechada]

Boa noite galera. Estou fazendo raspagens (web scraping) de um site, estou utilizando as cheerio e axios do NodeJS. Quando executo a aplicação ele funciona perfeitamente me trazendo as informações que ...
-1 votos
2 respostas
585 visitas

Como eu busco propriedades dentro de uma td / tr usando apenas js

Boa tarde pessoal, preciso buscar dados de dentro de um site (scraping) que estão dentro de uma table, com e . A informação que eu preciso está dentro dos td's. Segue o código: <table width="95%...
0 votos
0 respostas
80 visitas

Remover todas as strings antes das chaves via javascript

Eu tenho um arquivo css e eu gostaria de gerar um JSON, pra isso, o primeiro passo que eu encontrei seria remover todo o seletor antes do colchetes .meuSeletor { propriedade: valor; } para { ...
-1 votos
1 resposta
249 visitas

Scraping em Python. Montar um insert [fechada]

Gostaria de extrair essa tabela utilizando talvez Scraping em Python: https://idg.receita.fazenda.gov.br/orientacao/tributaria/pagamentos-e-parcelamentos/codigos-de-receita/codigos-de-receita-de-...
0 votos
0 respostas
40 visitas

Como atualizar uma fatia da chave (key) de um dicionário em Python? [duplicada]

Como faço para atualizar apenas uma fatia de uma chave em um dicionário Python? Estou fazendo o scraping de uma página e gostaria de formatar o resultado de modo que a minha chave fique na mesma linha ...
0 votos
1 resposta
450 visitas

Como encontrar um valor entre duas tags em um texto HTML? Sem ser com "XPATH"

Estou tentando extrair o valor entre duas tags HTML com Python, preciso que seja entre duas tags mesmo. Eu estava fazendo desta forma para extrair valores de um catálogo de uma loja. Mas agora tenho ...
0 votos
1 resposta
166 visitas

Web Scraping ou Web Crawler isolar Node

Por favor, estou tentando resgatar a seguinte informação: "value bra": (<span class="value bra">3,666</span>) <div class="ticker-financial-market" initiated="true"> <div ...
0 votos
1 resposta
902 visitas

Dados não são recuperados webdriver selenium

Estou querendo pegar alguns dados por cidade (todas as mais de 5 mil cidades brasileiras) do site do IBGE. Ex. de url: https://cidades.ibge.gov.br/brasil/ac/rio-branco/pesquisa/23/27652 ou https://...
8 votos
1 resposta
111 visitas

Limitando quantidade de matches do regex com Python

estou com uma certa dificuldade, gostaria de criar um for no Python para retornar uma quantidade específica de match do regex. Da maneira que fiz, ele está retornando todos os links que existem e que ...
0 votos
1 resposta
144 visitas

Raspagem de dados com jsoup e salvando em txt

Opa, como vai galera. Estou tentando aprender raspagem de dados por conta, e como meu ingles não ajuda, estou me virando nos 30. Basicamente é o seguinte. Ao executar meu codigo, ele lista os atletas ...
0 votos
1 resposta
491 visitas

Passar uma lista de URL para função Scrapy

Tenho um API em Python que recebe dois argumentos (URL e uma palavra definida pelo usuário) e fornece em arquivo JSON quantas vezes a palavra especificada aparece na URL. Entretanto, gostaria de ...
1 voto
0 respostas
56 visitas

Tweets incompletos na busca do método searchTwitter

Olá, comunidade do Stackoverflow BR, estou brincando com a biblioteca twitteR da linguagem de programação R, e percebo que nas buscas que realizei, os textos estão cortados, exemplo: "RT @...
1 voto
1 resposta
150 visitas

Web Crawler com view.py do Django

estou fazendo um simples web crawler, usando o django 2.0, eu quero capturar apenas a classe "titulo" das noticias e depois renderizar "return render" para um html simples, segue abaixo minha view.py. ...
1 voto
1 resposta
1mil visitas

BeautifulSoup - Links verdadeiros do href

Eu estava estudando sobre WebScraping com Python e comecei a utilizar a bilioteca bs4 (BeautifulSoup). Quando comecei a pegar as tags a e o atributo href, percebi que eu não poderia acessar o link se ...
0 votos
1 resposta
5mil visitas

C# - Como fazer um simples Web Scraping

Quero realizar a leitura de informações de uma pagina HTML de uma rádio online. Já tentei realizar a leitura utilizando HtmlAgilityPack, contudo sem sucesso pois a pagina em questão que estou ...
2 votos
0 respostas
115 visitas

Scraping com R - xpathSApply retornando uma lista de 0

Estou aprendendo a leitura de dados em XML em R. Queria extrair as informações do futebol brasileiro (nome do campeonato, mandante do jogo, resultado, etc.) deste site: https://www.terra.com.br/...
1 voto
1 resposta
1mil visitas

Web Scraping - converter tabela HTML em dict python

Estou tentando transformar uma tabela HTML em dict@python, me deparei com alguns problemas e solicito a ajuda de vocês. Segue até onde consegui chegar... def impl12(url='http://www.geonames.org/...
-1 votos
1 resposta
326 visitas

Raspagem de dados de um site com filtragem tables dinâmicas [fechada]

A plataforma de busca dos programas conceituados na Capes possui uma filtragem dinâmica para a própria consulta. Gostaria de saber como eu coleto os dados de uma saída utilizando Python. Por que, ...
1 voto
1 resposta
1mil visitas

Como coletar texto quando não tem classe HTML de referência - Crawler Python

Tenho a seguinte situação abaixo: Quero coletar "Texto para crawler" que está abaixo, como vou navegar até lá sem class ou id? <td>Texto para crawler</td>
1 voto
1 resposta
427 visitas

Como fazer Scrapping de uma página que tem um javascript's usando python ?

Eu preciso fazer scrapping de uma página, porém na entrada da page tem um botão (aparentemente um Javascript) que dá acesso à todo conteúdo da pagina em si. Usando as libs tradicionais(urllib2, ...
2 votos
1 resposta
204 visitas

Scrapping de HTML com Javascript puro

Olá, tenho um html que tem a seguinte sequencia de exemplo: <links class="canais-teste"> CANAL 1 <links/> Existem uns 80 trechos desses, queria pegar só os conteudos de dentro dessas ...
3 votos
1 resposta
160 visitas

O que Threads compartilham ao fazerem chamadas Http?

O problema: não consigo fazer login em um site mais de uma vez em Threads diferentes. Minha aplicação é um Console application. Se eu abrir vários executável, cada um consegue fazer login com sucesso ...
10 votos
1 resposta
556 visitas

Pegar noticias de um site especifico

No momento estou procurando uma solução para implementar um modulo no meu App para pegar noticias de um site especifico e mostrar na tela do modulo de notícias. Alguém pode me indicar um caminho?
2 votos
1 resposta
2mil visitas

Descobrir link em python

Estou fazendo um web scrapping em python e as vezes me deparo com alguns links e/ou buttons que não estão com o endereço real da url para que você será redirecionando se clicar. Nesse caso, se eu ...
7 votos
2 respostas
3mil visitas

Scraping em Python - ler pdf

Eu fiz um scrapping em Python que pega uma URL de um PDF qualquer, lê e retorna, porém em alguns PDFs estou tendo o problema de vir com uns caracteres assim: ".\nO \xc3\xb3rg\xc3\xa3o tamb\xc3\xa9m ...
-3 votos
2 respostas
661 visitas

Como obter o código HTML de uma página protegida com Cloudflare?

Estou tentando pegar o HTML de uma página com o Jsoup. Essa página tem o Cloudflare como proteção e, ao invés de obter o código HTML do site que tenho interesse, está me retornando o HTML da página ...
4 votos
2 respostas
2mil visitas

Web scraping com Javascript puro

Quero fazer um web scraping que lê uma página XML e pega determinado valor que está no "name", mas, não sei exatamente se é possível - só encontrei em como fazer com NodeJS -, é possível fazer com JS ...
10 votos
1 resposta
2mil visitas

Proteger páginas web de acesso automatizado

Como posso proteger minhas páginas web para que elas não sejam acessadas de forma automatizada? Pelos bots de Search engines como Googlebot (julgo que a forma básica fosse a metatag com noindex e ...