Perguntas com a tag [web-scraping]
É o processo de extração de informações provenientes de websites. Normalmente é usado por aplicações de terceiros para extrair informações ou interagir com um website que não expõe uma API.
168
perguntas
-1
votos
0respostas
13 visitas
WebScript VBA array especifica
tudo bem?
Estou fazendo um web scraping pra atualizar uma planilha minha no vba. Porém o site que quero puxar essas informações usam td e tr e não colocam class ou id nas sintaxe.
Por exemplo:
estou ...
0
votos
0respostas
28 visitas
Selenium erro “Dispositivo conectado ao sistema não esta funcionando” - Python
Estou começando agora a aprender sobre webscraping e estou com dificuldades de realizar no site "https://ri.unidas.com.br/servicos-ri/ultimos-arquivamentos/" por ser em Java.
A ideia é ...
-1
votos
1resposta
35 visitas
Rvest está retornando o seguinte erro ao ler uma página: {xml_nodeset (0)}, como resolver?
Gostaria de criar uma ferramenta para fazer web scraping no site da Câmara dos deputados do rio de janeiro, mas estou esbarrando no problema de sequer conseguir ler a página web.
Alguém sabe por que a ...
0
votos
1resposta
50 visitas
Escrevendo um arquivo csv no Google Drive usando Colab
Estou escrevendo um código em Python para raspar informações do Facebook. Gostaria de salvar essas informações em um arquivo no Google Drive, já que estou trabalhando com outras pessoas e usamos o ...
2
votos
1resposta
38 visitas
Como extrair texto de um elemento selecionado do BeautifulSoap?
Estou fazendo um crawler simples para obter algumas notícias do mercado financeiro. O código abaixo está funcionando corretamente, mas gostaria de extrair apenas a manchete e então excluir os códigos ...
2
votos
0respostas
20 visitas
selenium.common.exceptions.NoSuchElementException: Message: Unable to locate element: //div[@class='classificacao_pontos-corridos']//table [fechada]
Olá,
fiz um webscraping com python no mozila e funcionou. Entretanto, quando tentei aplicar o código em outro site, estou recebendo a mensagem de erro do título.
Na prática:
Ao rodar o programa o ...
-3
votos
1resposta
43 visitas
Único conteúdo json entre []
Eu to com uma dúvida sobre um código que eu fiz usando scrapy para coletar dados e mandar para um arquivo json.
O problema é que a formatação do arquivo não está como costuma ser, por isso achei ...
1
voto
1resposta
27 visitas
JSONDecodeError Expecting value: line 1 column 1 (char 0) - content-type: text/xml
Tenho projeto de capturar caixas eletrônicos próximos de uma coordenada no formulário do site da Mastercard.
Eu consigo trazer o resultado mas não em json. Pelo Content-Type ser text.XML,
não deveria ...
1
voto
1resposta
108 visitas
Executar script python ao clicar em botão html
Preciso alimentar uma pagina html que irá carregar e mostrar o conteúdo de forma dinâmica com ajax/fetch. O problema é que preciso pegar esses dados de outro sites que também carregam esse conteúdo ...
-1
votos
1resposta
39 visitas
Web Scraping com Pandas - Como tratar valores que estão nulos na coleta e como concatenar duas colunas no resultado final?
Estou fazendo um Web Scrap utilizando Python e Pandas, no Windows.
Estou fazendo a coleta dos dados da página, gerando um DataFrame no Pandas e depois exportando para uma planilha Excel. Não estou ...
0
votos
0respostas
38 visitas
Puxar uma lista com vários nomes de busca com o Rselenium
Boa noite, estou tentando puxar dados do google scholar com Rselenium mas estou tendo dificuldades para conseguir puxar as informações das revistas que estou buscando.
Reproduzindo o código abaixo:
#...
0
votos
1resposta
29 visitas
Como obter a página depois da autenticação com requests?
Estou tentando fazer um web scraping em python. Meu código é o seguinte:
import requests
from bs4 import BeautifulSoup
session = requests.Session()
payload = {'username':'[xxxxx]',
'password':'[xxxxx]...
-1
votos
1resposta
45 visitas
Carregar dinamicamente conteúdo da página
Basicamente estou tentando criar uma função que ao receber uma variável de nome, procura pelo nome do jogador no site do jogo e retorna as informações desse jogador caso ele exista no registro do jogo....
1
voto
1resposta
46 visitas
Web Scrapping R
Tentei diversas maneiras mas não consigo fazer o scrapping da seguinte tabela:
http://www2.bmf.com.br/pages/portal/bmfbovespa/boletim1/TxRef1.asp.
Até o momento através do seguine código:
library(&...
0
votos
1resposta
48 visitas
Selenium em Python captando apenas 1 link
Boa tarde a todos, estou começando a aprender Selenium e já me passaram um projeto para fazer que estou meio perdido.
Preciso captar todos os sumários da URL https://bgpview.io/reports/countries/BR,
...
0
votos
0respostas
17 visitas
Inspecionar Elemento em Power BI publicado!
Fala galera, tudo bem?
Preciso inspecionar um elemento do site https://www.seade.gov.br/coronavirus/ para fazer scraping de uma informação - UTI (%) - porém o painel de demonstração dos dados advém de ...
0
votos
0respostas
29 visitas
Estratégias de web scraping em R
O site que eu desejo extrair informações é familysearch.org. Nele é possível baixar cada página (no formato de imagem) de determinado livro do Registro Civil individualmente, então eu quero baixar ...
0
votos
1resposta
76 visitas
Problema ao navegar com Selenium (usando Python) em resultados de uma busca apresentados em HTML dinâmico
Olá, saudações!
Estou realizando um scraping de matérias de um jornal pernambucano (Diário de PE) conforme uma busca que fiz com algumas palavras-chave sobre o assunto de interesse. A busca do jornal ...
0
votos
0respostas
43 visitas
ChunkedEncodingError ao fazer requests no python
Boa tarde pessoal. Estou tendo um problema com requests para raspagem de dados.
A função principal é a que segue:
def raspa_dados(lista_de_links, ministerio):
links = []
autores = []
...
0
votos
1resposta
37 visitas
Como mover o titulo de uma coluna para outra?? (web scraping-python)
Estou tentando fazer um web scraping, porém se você visualizar o site percebe que certos títulos estão sobre certas colunas. O que meu programa faz é pegar a tabela, criar duas colunas cheias de NaN e ...
1
voto
1resposta
27 visitas
Iterando sobre lista com B Soup
Estou tentando realizar web scrapping de uma lista de episodios de uma série com BS. Montei a estrutura abaixo:
#Importando todos os módulos
import bs4
from bs4 import BeautifulSoup
import urllib....
-1
votos
1resposta
98 visitas
Pegar textos dentro de uma coluna dentro de uma tabela em Python
eu sempre uso variações desse código em outras tabelas e costuma dar certo, mas nessa eu tento de todo jeito e não dá, o que estou fazendo de errado?
url = "https://www.reddit.com/r/movies/...
0
votos
2respostas
47 visitas
Porque ao importar dados com o Pandas as vírgulas dos números estão sendo apagadas?
Estou quebrando a cabeça para entender o motivo disso acontecer ao pegar os dados numéricos de uma tabela na web. Nesta tabela contêm os valores de cotações das moedas, o problema ocorre que, ao pegar ...
1
voto
1resposta
201 visitas
Xpath com Python - Pegar texto depois de tag em uma div
Estou tentando pegar um texto depois de uma tag que está dentro de uma div, em um html. O problema que estou tendo é que não estou recebendo o texto, só uma string vazia. Pesquisei em outros lugares e ...
1
voto
0respostas
13 visitas
Web scraping utilizando python
Gostaria de imprimir todas as divs de determinado site que estão contidas dentro de uma div superior
<div class="history-feed__collection">
<div class="history-feed__card ...
0
votos
0respostas
34 visitas
Web scraping com python, como imprimir a class de uma div
Gostaria de imprimir a class de uma div em phyton, o codigo do site e:
<div class="history-feed__collection">
<div class="history-feed__card h-card h-card_sm h-card_spades&...
0
votos
1resposta
109 visitas
Selecionar duas opções no menu drop down com Selenium + Python não funciona
from selenium import webdriver
from time import sleep
from urllib.request import Request,urlopen
import pandas as pd
from selenium.webdriver.support.ui import Select
from selenium.webdriver....
-1
votos
2respostas
361 visitas
Não consigo obter elementos de uma página com o Puppeteer
Estou criando uma aplicação para baixar uma imagem do Instagram pela URL e estou utilizando o pacote puppeteer para realizar esta tarefa.
Dentro da chamada do método evaluate (método para rodar um ...
-1
votos
1resposta
63 visitas
Como parar um loop Each javascript
Olá, estou desenvolvendo um mecanismo de busca num rank para bot na twitch.tv segue o codigo abaixo
const cheerio = require('cheerio')
const URL ='https://shadowarena.pearlabyss.com/en-US/Arena?...
0
votos
0respostas
17 visitas
Web Scraping com RSelenium falha ao conectar na porta 4444
Na tentativa de realizar WebScraping com o RSelenium na linguagem R , estou me deparando com o seguinte erro na porta 4444
Could not open chrome browser.
Client error message:
Undefined error in httr ...
-1
votos
1resposta
113 visitas
scraping google
Saudações developers
Estou escrevendo um script em python3 para realizar pesquisas de noticias e tbm imagens...
e criei consultas para bing google usando apis mechanicalsoup e requests.
o caso é ...
0
votos
1resposta
71 visitas
Python: Web Scraping em página com valores dinâmicos
Estou aprendendo sobre Web Scraping, Já consegui fazer algumas ações porém me deparei com problema em uma página dinâmica onde os valores são alterados a cada refresh.
Infelizmente não consigo passar ...
-1
votos
1resposta
132 visitas
Sites com autenticação - Web Scraping - JavaScript
Estou tentando automatizar um processo de obtenção de dados via web usando JS. No meu caso, preciso puxar as informações da página https://sistema.justwebtelecom.com.br/adm.php. No entanto, antes de ...
0
votos
1resposta
116 visitas
Loop Selenium Phyton
Olá!
Comecei a estudar Python e estou tentando fazer web scraping no site da OLX.
Consigo fazer buscas e filtrar. Mas como posso fazer um loop para ele clicar em todos os anúncios para eu poder pegar ...
0
votos
1resposta
188 visitas
Scroll Down Python e Selenium
Estou fazendo um boot para coletar informações do Facebook para uma pesquisa política. Contudo, quando vou coletar os comentários não estou conseguindo fazer o Scroll Down da página.
Já tentei vários ...
1
voto
1resposta
167 visitas
Automatizar o web scraping no Python
Estou tentando obter os discursos dos deputados, que pode ser encontrado aqui.
O site possui várias páginas (1 ate 300 +/-) e em cada página possuí uma tabela com um "resumo" das informações, com 50 ...
-1
votos
1resposta
30 visitas
Iterador em Web Scraping pegando apenas elementos com index ímpares [fechada]
estava fazendo WebScraping de uma página de venda de carros e por algum motivo ao iterar os dados para recolher os dados de Quilometragem rodada o iterador simplesmente repetia os itens, ou seja :
...
-2
votos
1resposta
21 visitas
Excell VBA célua corrseponde a outra em outra planilha
preciso rodar uma macro dependendo da célula selecionada. todas as informações estão na mesma coluna "E", mas quando for por exemplo pra E4 preciso que a célula selecionada corresponda a outro valor ...
0
votos
2respostas
128 visitas
Web scraping com BeautifulSoup - find_next não retorna o texto
Quero extrair o texto do trecho abaixo:
<div class="matchDate renderMatchDateContainer" data-kickoff="1583784000000">Mon 9 Mar 2020</div>
o texto seria "Mon 9 Mar 2020". Porém quando ...
1
voto
1resposta
551 visitas
Sites com autenticação - Web Scraping - Python
BR: Estou tentando automatizar um processo de obtenção de dados via web usando Python. No meu caso, preciso puxar as informações da página https://sistema.justwebtelecom.com.br/adm.php. No entanto, ...
0
votos
1resposta
76 visitas
Como obter os amigos e seguidores de uma pessoa no Twitter usando a biblioteca tweepy?
A função getting_friends_follwers() abaixo funciona se eu remover o valor 100 de (cursor2.items(100)) . O meu objetivo é pegar estes nomes (seguidores e amigos) e guardar em um arquivo "amigos.txt".
...
1
voto
0respostas
82 visitas
Error: read ECONNRESET and Error: connect ETIMEDOUT [fechada]
Boa noite galera.
Estou fazendo raspagens (web scraping) de um site, estou utilizando as cheerio e axios do NodeJS.
Quando executo a aplicação ele funciona perfeitamente me trazendo as informações que ...
1
voto
3respostas
248 visitas
Como comparar dois objetos JSON com os mesmos elementos em Python
Tenho duas Apis que me trazem os dados em JSON. Só que não estou conseguindo fazer a lógica para comparar as duas.
API 1:
API 2:
A minha lógica é comparar as duas no dado FlightID e se for igual me ...
-2
votos
1resposta
68 visitas
Obtendo atributos em HTML com python
Eu estou querendo obter as informações de arial-label, href e title da tag a a baixo:
<a aria-label="AS MAIS TOCADAS NO BAILE FUNK 2019 #1 - SET DE FUNK by Funk 24por48 10 months ago 39 ...
0
votos
0respostas
19 visitas
Como fazer um web scraping em um site com aspx usando python [duplicada]
Estou tentando fazer um scraping de uma página que usa aspx. A questão é que quando vou em inspecionar elemento os dados que preciso estão lá, porém quando dou o requests na página vem tudo do html, ...
0
votos
1resposta
35 visitas
Dict com atributos repetidos Python
Boa tarde!
Estou montando um formdata para um post,
formdata = {
'data': '',
'controle': 'ADMIN',
'g-recaptcha-response': recaptcha_response
}
for numero in nDams:
...
0
votos
2respostas
200 visitas
Web scraping de um formulário do microsoft forms retorna none [python]
Olá, estou tendo dificuldades em fazer um web scraping de um formulário feito pelo forms da microsoft. (OBS: O formulário foi feito por mim).
Tenho o seguinte código:
from bs4 import BeautifulSoup
...
2
votos
1resposta
43 visitas
Web scrapping NodeJS - Não consigo utilizar variável como parâmetro
Estou usando a biblioteca Nightmare, para Web scrapping, a função funciona normalmente quando passo uma string como parâmetro '.seletor', o problema ocorre quando armazeno este valor em uma variável e ...
0
votos
1resposta
48 visitas
Clique constante usando Selenium não funciona
Objetivo: Clicar 4 vezes no mesmo botão "Ver Mais"
Problema: O comando de clique funciona nas 2 primeiras vezes, após isso, ele não funciona mais e retorna TimeoutException
Código:
ops = webdriver....
2
votos
2respostas
214 visitas
Baixar dados de tabelas da Bolsa de Valores no R
Tenho o seguinte código, necessito baixar os dados que estão na tabela, mas o dataframe está retornando sempre vazio.
library(tidyverse)
library(rvest)
library(bizdays)
library(dplyr)
library(...