Perguntas com a tag [web-scraping]

É o processo de extração de informações provenientes de websites. Normalmente esta extração é feita para interagir com um website que não expõe uma API. Perguntas sobre raspagem de recursos externos e urls específicos não estão no escopo deste site. As perguntas devem ser autocontidas.

Filtrar por
Ordenado por
Com tags
-1 votos
0 respostas
26 visitas

Automatização e Raspagem de dados com Scrapy e Selenium [fechada]

Preciso da opinião dos Srs. para esta tarefa. Preciso consultar vários protocolos para verificar suas respectivas situações. Atualmente tenho que consultar protocolo por protocolo e são vários. ...
Adriano Medeiros's user avatar
-2 votos
0 respostas
14 visitas

Web scraping - Powershell [fechada]

Estou tentando fazer um procedimento de web scraping em uma página de blacklist check para automatizar a verificação da saúde dos ips corporativos, porém o script que desenvolvi não está funcionando ...
Lucas Leonardo de Lima's user avatar
-2 votos
0 respostas
12 visitas

Job queue do python-telegram-bot não executando corretamente

Estou fazendo um bot para Telegram que realiza um webscraping no site de um restaurante e manda todo dia para os usuários uma mensagem com o cardápio do almoço e do jantar. Mas por algum motivo mesmo ...
Higor Camelo's user avatar
1 voto
0 respostas
18 visitas

problemas com o web scraping

Estou utilizando o seguinte código para fazer web scraping: import re import requests from bs4 import BeautifulSoup url = 'http://127.0.0.1:8080/' response = requests.get(url) bytes_html = response....
Talles C. Rodrigues's user avatar
0 votos
0 respostas
41 visitas

Como usar valor de uma variável para preenchimento de um formulário de data?

Estou tentando preencher um campo de um formulário com uma data, para o quê utilizei o seguinte código: #CÁLCULO DO DIA DE INÍCIO DA PESQUISA td = timedelta(4) dh = date.today() data_base = (dh-td) ...
Lineker Freire's user avatar
-2 votos
1 resposta
128 visitas

Bot web scraping Python envia link errado para Telegram

Criei um bot que faz login em um site e captura alguns links de meu interesse e salvo esses links em uma lista. Após capturar os links eu envio para o telegram utilizando a seguinte função: def ...
Andrez0s's user avatar
0 votos
0 respostas
75 visitas

Retornar o resultado de uma lista em uma planilha excel

Sou bem iniciante em Python, estou escrevendo este código para me ajudar no trabalho. O código é um webscrapping, basicamente busca um termo no Mercado Livre e retorna título e preço dos anúncios. ...
Alex Carvalho's user avatar
-2 votos
1 resposta
45 visitas

Porque quando faço a importação dos dados com pd.read_html a virgula some?

Tentando jogar os dados para um dataFrame, mas estou tendo problemas com a formatação dos números. o código é bem simples url = 'http://ipeadata.gov.br/ExibeSerie.aspx?stub=1&serid32099=32099&...
Dev_breda's user avatar
1 voto
0 respostas
397 visitas

Manipulando uma nova guia com playwright

Já li vários tópicos da documentação do playwright, mas ainda não descobri como faço para manipular uma nova guia durante o scrap de dados. Eu já sei como criar uma nova tab e manipular ela, mas para ...
EndP's user avatar
  • 9
7 votos
1 resposta
123 visitas

Como unir e normalizar dados do Google Trends no R?

Em minha pesquisa, compararei o interesse público ao longo do tempo em alguns termos, e para isto estou utilizando o pacote do R gtrendsR. Pretendo comparar um total de nove palavras-chave, o que ...
Arthur Filipe da Silva's user avatar
-2 votos
1 resposta
49 visitas

Como localizar determinado campo na tela do meu computador e extrair suas informações?

saudações, Estou buscando como eu conseguiria extrair informações de um software que utilizo. Eu precisaria realizar uma validação em tempo real para validar informações do CPF do cadastro aberto no ...
Ruan Nunes's user avatar
-1 votos
2 respostas
54 visitas

Como coletar texto quando não tem classe HTML de referência [fechada]

Estou tentando puxar os dados desse código da imagem. O que me interessa é a leta I onde está marcado de vermelho. Já tentei dessa forma abaixo, mas não deu certo: url = 'https://blaze.com/pt/games/...
Caique Santana's user avatar
-1 votos
1 resposta
579 visitas

Como unir vários DataFrames em um único arquivo excel

Tenho um código de WebSacraping, utilizando o loop for, ele busca e retorna varios DataFrames com as informações, gostaria de salva-las em excel, porem quando utilizo a fórmula to_excel, ele salva ...
lucas ferreira's user avatar
4 votos
1 resposta
43 visitas

Qual a difença entre usar "tab <- html_table(tabela)[[1]]" ou "tab <- html_table(tabela)" do pacote rvest

library(rvest) url <- 'http://espn.go.com/nfl/superbowl/history/winners' pagina <- read_html(url) tabela <- html_nodes(pagina, 'table') tab <- html_table(tabela)[[1]] O código acima ...
Andre Luiz Moura's user avatar
-2 votos
1 resposta
217 visitas

Python, Selenium - Scroll Google Maps

Bom dia. Estou desenvolvendo um Script python onde ele acessa o Google Maps e pesquisa determinada loja e coleta os dados dela através do XPATH //[@id="pane"]. Porém o Google Maps carrega a ...
Fabio E S's user avatar
-1 votos
1 resposta
79 visitas

undefined method "content" em Ruby

Estou tentando rodar esse arquivo em Ruby: require 'nokogiri' require 'net/http' https = Net::HTTP.new('onebitcode.com', 443) https.use_ssl = true response = https.get("/") doc = Nokogiri:...
eduardo's user avatar
2 votos
1 resposta
232 visitas

Web scraping em R: como automatizar a retirada de informações específicas de páginas?

Ideia Minha ideia é extrair alguns dados do Campeonato Brasileiro Série A na era dos pontos corridos (2003-2021) no site besoccer. Ferramentas utilizadas Linguagem R RStudio Bibliotecas robotstxt, ...
user avatar
-2 votos
2 respostas
2mil visitas

Checar a existência de um elemento usando Python & Selenium?

estou desenvolvendo um Web Scraping, e estou tentando fazer um método que quando o usuário entrar em uma determinada página que contenha um elemento com uma class expecifica o código continua, mas ...
solomax's user avatar
  • 13
0 votos
1 resposta
499 visitas

Python - Webscraping - Selecionar item no dropdown

Sou iniciante no Python e estou tendo algumas dificuldades com o webscraping no python. Estou tentando selecionar um item no dropdown e não estou conseguindo, ele para na parte do dropdown e não ...
user avatar
-1 votos
1 resposta
56 visitas

BeatifulSoap retornando apenas uma linha

Quando faço um scraping nessa página: https://ipinfo.io/countries/br, o for está me retornando apenas o primeiro registro encontrado da tabela, já tentei de várias formas, alterando as tags e sintaxes ...
Linvxxx's user avatar
  • 19
0 votos
2 respostas
520 visitas

Como eu faço pra pegar esse 'title' dentro de um <h3> com o BeautifulSoup

Estou pegando essa classe no Beautifulsoup e preciso colher o título dentro do a que está dentro do h3 <article class="product_pod"> <div class="image_container"> ...
lucassentone's user avatar
-1 votos
1 resposta
259 visitas

Erros no Geckodriver auto-installer (webdriver para web-scraping)

Bom dia, Fiz um script de web-scraping usando Selenium, pandas, bf4 and GeckoDriver import requests from bs4 import BeautifulSoup from selenium import webdriver from selenium.webdriver.firefox.options ...
MatheusHRV's user avatar
0 votos
0 respostas
114 visitas

Como recortar HTML de site com VBA?

Estou tentando fazer o webscraping de um dado de um site para o excel por meio do VBA. Consigo, no código que estou desenvolvendo, acessar o site, mas até agora não entendi bem como este dado está ...
Caique Barreto's user avatar
-3 votos
1 resposta
50 visitas

Porque o request.ok dá False neste worten scraper?

import requests from bs4 import BeautifulSoup import csv def get_page(url): resposta = requests.get(url) print(resposta.ok) def main(): url = 'https://www.worten.pt/search?query=' ...
Francisco Brito's user avatar
-2 votos
1 resposta
2mil visitas

Python - Selenium com Xpath não funciona nesse site [fechada]

Estou tentando fazer uma automação em Python para atualizar a página desse portal onde clientes colocam solicitações para fazermos cotação como fornecedores. Ja fiz outras automações em Python com ...
Ricardo Alvares's user avatar
1 voto
1 resposta
356 visitas

Scraping de tabela na wikipedia com Python

Estou tentando fazer scraping da tabela de classificação final do campeonato brasileiro de 1971, disponível na wikipedia. O máximo que consegui foi pegar a primeira tabela, e mesmo ela, não consegui ...
annacoloda's user avatar
-3 votos
1 resposta
76 visitas

Web Scrapping - Python [fechada]

Quando Header Cache-Control é private, isso quer dizer que não é possível acessar formulário pelo Requests? Ideia era coletar da fonte Pública, os dados médios do combustível de todas as cidades de ...
Diogo Ribeiro's user avatar
-1 votos
1 resposta
62 visitas

Como corrigir erro em tibble

Estou tentando capturar notícias da Folha de SP, mas o código dá erro na metade. Aparece o seguinte erro: Erro: Tibble columns must have compatible sizes. Size 25: Existing data. Size 23: Column at ...
anônima's user avatar
-3 votos
1 resposta
642 visitas

Erro SSL (Modulo requests Python)

Estou desenvolvendo um programa para a captura de artigos no site da Scielo, o programa estava funcionando perfeitamente, porém hoje pela manhã quando fui executa-lo o seguinte erro me foi apresentado:...
Vimmi's user avatar
  • 1
-1 votos
2 respostas
461 visitas

Função de Requisição GET executa antes mesmo de ser chamada ao clique de um Botão

Olá, estou produzindo um programa simples de Requisição de dados climáticos de uma cidade com python, uso as seguintes bibliotecas: Tkinter, Requests Objetivo: O usuário digitará o nome da cidade ...
Erico's user avatar
  • 7
-2 votos
1 resposta
2mil visitas

Como Fazer um scraping com Python para comparar preços em um site de compras?

Comparando o preço de um mesmo produto a cada minuto e me notificando quando o valor cair 50%. Usei um While >= mas está retornando um erro indicando que não pode usar >= entre str e int. Ele ...
Viníciuscavalcante2000's user avatar
-1 votos
1 resposta
684 visitas

pegar elemento superior selenium, python, scraping

<div class="cell-list-content-icon"> <span><i class="fa fa-briefcase"></i>EMPRESA XXXXXXXX</span> <span><i class="fas fa-map-marker-alt&...
R Borges's user avatar
  • 311
-1 votos
1 resposta
324 visitas

Como fazer Scraping de uma tabela e inserir os dados no banco de dados?

Bom, basicamente o que eu preciso é fazer um microservice que extraia os preços da cotação da soja dessa tabela: https://www.canalrural.com.br/cotacao/soja/. E depois inserir os dados em um banco de ...
Ferzitu's user avatar
2 votos
2 respostas
264 visitas

Como raspar tabelas do QlikView usando Nodejs?

Este site do governo brasileiro apresenta dados salariais para juízes de várias instâncias e tribunais. Gostaria de baixar todas as tabelas, mas os dados referentes às tabelas não estão no html que ...
Lucas's user avatar
  • 4.271
-3 votos
1 resposta
256 visitas

Montando um Web Scraping com Python

tudo bem? Pois bem, sou um entusiasta de programção, e peguei um tutorial para fazer webscraping. A lógica eu até entendi, porém estou enfrentando um problema quando um dos dados estão faltando no ...
Guilherme Novais's user avatar
-2 votos
1 resposta
436 visitas

Como ler <br/> em arquivos HTML e imprimir como quebra de linha?

Fiz um web scraper utilizando os módulos BeautifulSoup e requests, que pega a definição e exemplo de conceitos no Urban Dictionary. Este é código, utilizando a palavra "reparation" como ...
mat_evangelista's user avatar
-2 votos
1 resposta
125 visitas

Web Scraping com Rvest - Problema com raspagem dos dados (links principalmente)

Estou tentando fazer um Web Scraping do site da Web Of Science, mas esstou enfrentando problemas com a raspagem de links do site. Minha intenção é raspar títulos dos artigos, links que direcionam para ...
DHEYNNE ALVES's user avatar
0 votos
2 respostas
484 visitas

Juntar células com python

Estou fazendo um web scraping para pegar dados das melhores ações do dia e juntar numa tabela em um arquivo do excel. Estou tentando pelo código: from selenium import webdriver from webdriver_manager....
André Leite's user avatar
0 votos
1 resposta
757 visitas

ERRO urllib.error.HTTPError: HTTP Error 404: Not Found

Tenho o seguinte código, simples. from urllib.request import urlopen from bs4 import BeautifulSoup word_site = urlopen('https://svnweb.freebsd.org/csrg/share/dict/words?view=markup&pathrev=61569')...
João Caetano's user avatar
-1 votos
1 resposta
98 visitas

RSelenium - Como clicar no check-box e então no botão submit

Estou tentando fazer um web scraping do site do Banco Central. Para isso, preciso selecionar um item do menu drop-down, então marcar um check box e então clicar no botão de submit. Mas quando eu tento ...
rtheodoro's user avatar
  • 1.033
-2 votos
1 resposta
287 visitas

Como capturar o data-tooltip usando selenium no Python

Olá, é o seguinte o meu problema: Estou fazendo um web scraping na seguinte URL > https://www.maze.com.br/produto/tenis-nike-air-jordan-ma2-ultramarine-branco/4749595. Acabei me deparando com um ...
rcoletto's user avatar
1 voto
1 resposta
1mil visitas

Erro em tempo de Execução 438: O Objeto não aceita propriedade ou Métodos

Estou adaptando código VBA para raspagem, mas estou recebendo essa mensagem quando chega a etapa de enviar o dado para o formulário de Login. Erro em tempo de Execução 438: O Objeto não aceita ...
Itamar Conceição's user avatar
1 voto
0 respostas
54 visitas

Web Scraping com R - tabela estática

Gostaria de consolidar os dados de um site de aposta em uma base de dados no R. Estou tentando da forma abaixo, mas meu script não reconhece as colunas e linhas da tabela de fato, apenas o layout: ...
Sarah de Paula Pereira's user avatar
-1 votos
1 resposta
99 visitas

Como posso pegar o value de uma tag span com jsoup?

public class Main { public static void main(String[] args) throws IOException { // write your code here Document doc = (Document) Jsoup.connect("https://cod.tracker.gg/warzone/...
Samir Maciel's user avatar
0 votos
1 resposta
1mil visitas

Como usar o selenium para selecionar uma tag específica com uma classe comum a outras tags?

Eu to querendo fazer scrapping dos dados mais atualizados desta página. Todos os dias ela disponibiliza os dados do dia atual e do dia seguinte. Meu maior interesse é nos dados do dia seguinte. Ao ...
Rodrigo Junior's user avatar
0 votos
0 respostas
113 visitas

Por que a vírgula some ao converter um HTML para str no Python?

Eu tô extraindo uns dados de uma página utilizando scraping seguindo um tutorial que vi no YouTube. Segue o código: import requests import pandas as pd from bs4 import BeautifulSoup from selenium ...
Rodrigo Junior's user avatar
1 voto
2 respostas
1mil visitas

BeautifulSoup: Pegar text dentro de tabela

Estou tentando pegar valores específicos dentro de uma tabela, eu tenho um código similar que já utilizo da mesma forma em outra estrutura de tabela única dentro do html, o problema e que não consigo ...
kleytonsolinho's user avatar
0 votos
2 respostas
98 visitas

Transformar cada node de um site em um elemento de um array

Quero transformar cada manchete desse site em um elemento de um Array. Já tentei de diversas formas mas nenhuma dá certo, então se puderem me ajudar fico grato. Estou utilizando o HtmlAgilityPack ...
Jordan Nunes's user avatar
1 voto
1 resposta
60 visitas

Alterar o idioma do resultado de um web-scraping com rvest a partir do site do IMDB

Quero coletar informações sobre o Top 250 do IMDB usando o pacote rvest. Ao visitar o link da página, os nomes dos filmes aparecem em seu idioma original, ao menos no meu navegador (Firefox 85.0.1, ...
Marcus Nunes's user avatar
  • 19,3mil
1 voto
0 respostas
396 visitas

Scraping no instagram

Olá, gostaria de pedir uma ajuda, estou querendo fazer um scraping no Instagram para poder fazer analise de personas e extrair alguns dados como tags mais utilizadas pelas pessoas que seguem um ...
Gregory Dias's user avatar