Questions tagged [scraping]
Scraping é a atividade de extração de conteúdo de uma página Web para diversos fins desde o armazenamento bruto de informações até o refinamento e organização do conteúdo da página.
29 perguntas
1
voto
0respostas
31 visitas
Web scraping com Python (Selenium e Request)
Olá,
Estou tentando realizar um web scraping em uma página protegida por login, já consegui realizar o acesso tanto via Request, quanto via Selenium, o problema se dá após o login.
A página é a ...
1
voto
1resposta
53 visitas
Web Scraping ou Web Crawler isolar Node
Por favor, estou tentando resgatar a seguinte informação:
"value bra": (<span class="value bra">3,666</span>)
<div class="ticker-financial-market" initiated="true">
<div ...
1
voto
1resposta
32 visitas
Dados não são recuperados webdriver selenium
Estou querendo pegar alguns dados por cidade (todas as mais de 5 mil cidades brasileiras) do site do IBGE.
Ex. de url: https://cidades.ibge.gov.br/brasil/ac/rio-branco/pesquisa/23/27652 ou https://...
8
votos
1resposta
38 visitas
Limitando quantidade de matches do regex com Python
estou com uma certa dificuldade, gostaria de criar um for no Python para retornar uma quantidade específica de match do regex.
Da maneira que fiz, ele está retornando todos os links que existem e que ...
0
votos
1resposta
32 visitas
Raspagem de dados com jsoup e salvando em txt
Opa, como vai galera.
Estou tentando aprender raspagem de dados por conta, e como meu ingles não ajuda, estou me virando nos 30. Basicamente é o seguinte. Ao executar meu codigo, ele lista os atletas ...
0
votos
1resposta
69 visitas
Passar uma lista de URL para função Scrapy
Tenho um API em Python que recebe dois argumentos (URL e uma palavra definida pelo usuário) e fornece em arquivo JSON quantas vezes a palavra especificada aparece na URL.
Entretanto, gostaria de ...
1
voto
0respostas
29 visitas
Tweets incompletos na busca do método searchTwitter
Olá, comunidade do Stackoverflow BR, estou brincando com a biblioteca twitteR da linguagem de programação R, e percebo que nas buscas que realizei, os textos estão cortados, exemplo: "RT @...
1
voto
0respostas
31 visitas
como capturar tokens específicos em python requests
preciso de capturar cookies específicos de um código em python e passa-los depois, o problema é, se eu setar os cookies manualmente eles funcionam por um tempo mas após alguns dias eles expiram. Eu ...
0
votos
0respostas
20 visitas
Data scraping, coleta de dados
Tenho uma aplicação e gostaria de coletar esses dados em tempo real, algo parecido com web scraping. Segue imagem da aplicação e os dados que preciso coletar. Artigos, refrências e etc. já ajudam.
1
voto
1resposta
64 visitas
Web Crawler com view.py do Django
estou fazendo um simples web crawler, usando o django 2.0, eu quero capturar apenas a classe "titulo" das noticias e depois renderizar "return render" para um html simples, segue abaixo minha view.py. ...
5
votos
0respostas
97 visitas
Problemas ao acessar um site via RStudio
Problemas ao conectar há um determinado site via RStudio
url <- "https://www.jusbrasil.com.br/diarios/busca?q=%22licen%C3%A7a+sem+vencimentos%22&idtopico=T10001849&o=data"
links <- ...
0
votos
1resposta
70 visitas
Fazer Scraping de um Html Externo
Estou tentando pegar um texto de um outro site usando C# (HtmlAgilityPack).
Eu consigo encontrar a div, mas quando tento mostrar na tela o valor, ele mostra o caminho da função.
Acredito que estou ...
1
voto
1resposta
203 visitas
BeautifulSoup - Links verdadeiros do href
Eu estava estudando sobre WebScraping com Python e comecei a utilizar a bilioteca bs4 (BeautifulSoup). Quando comecei a pegar as tags a e o atributo href, percebi que eu não poderia acessar o link se ...
0
votos
1resposta
929 visitas
C# - Como fazer um simples Web Scraping
Quero realizar a leitura de informações de uma pagina HTML de uma rádio online. Já tentei realizar a leitura utilizando HtmlAgilityPack, contudo sem sucesso pois a pagina em questão que estou ...
2
votos
0respostas
66 visitas
Scraping com R - xpathSApply retornando uma lista de 0
Estou aprendendo a leitura de dados em XML em R.
Queria extrair as informações do futebol brasileiro (nome do campeonato, mandante do jogo, resultado, etc.) deste site: https://www.terra.com.br/...
0
votos
1resposta
253 visitas
Web Scraping - converter tabela HTML em dict python
Estou tentando transformar uma tabela HTML em dict@python, me deparei com alguns problemas e solicito a ajuda de vocês.
Segue até onde consegui chegar...
def impl12(url='http://www.geonames.org/...
-1
votos
1resposta
145 visitas
Raspagem de dados de um site com filtragem tables dinâmicas [fechada]
A plataforma de busca dos programas conceituados na Capes possui uma filtragem dinâmica para a própria consulta. Gostaria de saber como eu coleto os dados de uma saída utilizando Python. Por que, ...
0
votos
1resposta
117 visitas
Scraping em Python. Montar um insert [fechada]
Gostaria de extrair essa tabela utilizando talvez Scraping em Python:
https://idg.receita.fazenda.gov.br/orientacao/tributaria/pagamentos-e-parcelamentos/codigos-de-receita/codigos-de-receita-de-...
1
voto
1resposta
315 visitas
Como coletar texto quando não tem classe HTML de referência - Crawler Python
Tenho a seguinte situação abaixo:
Quero coletar "Texto para crawler" que está abaixo, como vou navegar até lá sem class ou id?
<td>Texto para crawler</td>
1
voto
1resposta
175 visitas
Como fazer Scrapping de uma página que tem um javascript's usando python ?
Eu preciso fazer scrapping de uma página, porém na entrada da page tem um botão (aparentemente um Javascript) que dá acesso à todo conteúdo da pagina em si.
Usando as libs tradicionais(urllib2, ...
2
votos
1resposta
46 visitas
Scrapping de HTML com Javascript puro
Olá, tenho um html que tem a seguinte sequencia de exemplo:
<links class="canais-teste"> CANAL 1 <links/>
Existem uns 80 trechos desses, queria pegar só os conteudos de dentro dessas ...
1
voto
1resposta
404 visitas
Descobrir link em python
Estou fazendo um web scrapping em python e as vezes me deparo com alguns links e/ou buttons que não estão com o endereço real da url para que você será redirecionando se clicar.
Nesse caso, se eu ...
6
votos
2respostas
1mil visitas
Scraping em Python - ler pdf
Eu fiz um scrapping em Python que pega uma URL de um PDF qualquer, lê e retorna, porém em alguns PDFs estou tendo o problema de vir com uns caracteres assim:
".\nO \xc3\xb3rg\xc3\xa3o tamb\xc3\xa9m ...
3
votos
1resposta
92 visitas
O que Threads compartilham ao fazerem chamadas Http?
O problema: não consigo fazer login em um site mais de uma vez em Threads diferentes.
Minha aplicação é um Console application.
Se eu abrir vários executável, cada um consegue fazer login com sucesso ...
-2
votos
2respostas
271 visitas
Como obter o código HTML de uma página protegida com Cloudflare?
Estou tentando pegar o HTML de uma página com o Jsoup.
Essa página tem o Cloudflare como proteção e, ao invés de obter o código HTML do site que tenho interesse, está me retornando o HTML da página ...
4
votos
2respostas
151 visitas
Web scraping com Javascript puro
Quero fazer um web scraping que lê uma página XML e pega determinado valor que está no "name", mas, não sei exatamente se é possível - só encontrei em como fazer com NodeJS -, é possível fazer com JS ...
10
votos
1resposta
350 visitas
Pegar noticias de um site especifico
No momento estou procurando uma solução para implementar um modulo no meu App para pegar noticias de um site especifico e mostrar na tela do modulo de notícias.
Alguém pode me indicar um caminho?
10
votos
1resposta
791 visitas
Proteger páginas web de acesso automatizado
Como posso proteger minhas páginas web para que elas não sejam acessadas de forma automatizada?
Pelos bots de Search engines como Googlebot (julgo que a forma básica fosse a metatag com noindex e ...
10
votos
1resposta
937 visitas
O que este código anti-robo em Javascript faz?
O que este código anti-robo em Javascript faz?
<html><head></head><body onload="challenge();">
<script>
eval(function(p,a,c,k,e,r){e=function(c){return c.toString(a)};...