Perguntas com a tag [web-scraping]
É o processo de extração de informações provenientes de websites. Normalmente esta extração é feita para interagir com um website que não expõe uma API. Perguntas sobre raspagem de recursos externos e urls específicos não estão no escopo deste site. As perguntas devem ser autocontidas.
208
perguntas
-1
votos
0
respostas
26
visitas
Automatização e Raspagem de dados com Scrapy e Selenium [fechada]
Preciso da opinião dos Srs. para esta tarefa.
Preciso consultar vários protocolos para verificar suas respectivas situações.
Atualmente tenho que consultar protocolo por protocolo e são vários.
...
-2
votos
0
respostas
14
visitas
Web scraping - Powershell [fechada]
Estou tentando fazer um procedimento de web scraping em uma página de blacklist check para automatizar a verificação da saúde dos ips corporativos, porém o script que desenvolvi não está funcionando ...
-2
votos
0
respostas
12
visitas
Job queue do python-telegram-bot não executando corretamente
Estou fazendo um bot para Telegram que realiza um webscraping no site de um restaurante e manda todo dia para os usuários uma mensagem com o cardápio do almoço e do jantar. Mas por algum motivo mesmo ...
1
voto
0
respostas
18
visitas
problemas com o web scraping
Estou utilizando o seguinte código para fazer web scraping:
import re
import requests
from bs4 import BeautifulSoup
url = 'http://127.0.0.1:8080/'
response = requests.get(url)
bytes_html = response....
0
votos
0
respostas
41
visitas
Como usar valor de uma variável para preenchimento de um formulário de data?
Estou tentando preencher um campo de um formulário com uma data, para o quê utilizei o seguinte código:
#CÁLCULO DO DIA DE INÍCIO DA PESQUISA
td = timedelta(4)
dh = date.today()
data_base = (dh-td)
...
-2
votos
1
resposta
128
visitas
Bot web scraping Python envia link errado para Telegram
Criei um bot que faz login em um site e captura alguns links de meu interesse e salvo esses links em uma lista.
Após capturar os links eu envio para o telegram utilizando a seguinte função:
def ...
0
votos
0
respostas
75
visitas
Retornar o resultado de uma lista em uma planilha excel
Sou bem iniciante em Python, estou escrevendo este código para me ajudar no trabalho. O código é um webscrapping, basicamente busca um termo no Mercado Livre e retorna título e preço dos anúncios. ...
-2
votos
1
resposta
45
visitas
Porque quando faço a importação dos dados com pd.read_html a virgula some?
Tentando jogar os dados para um dataFrame, mas estou tendo problemas com a formatação dos números.
o código é bem simples
url = 'http://ipeadata.gov.br/ExibeSerie.aspx?stub=1&serid32099=32099&...
1
voto
0
respostas
397
visitas
Manipulando uma nova guia com playwright
Já li vários tópicos da documentação do playwright, mas ainda não descobri como faço para manipular uma nova guia durante o scrap de dados. Eu já sei como criar uma nova tab e manipular ela, mas para ...
7
votos
1
resposta
123
visitas
Como unir e normalizar dados do Google Trends no R?
Em minha pesquisa, compararei o interesse público ao longo do tempo em alguns termos, e para isto estou utilizando o pacote do R gtrendsR. Pretendo comparar um total de nove palavras-chave, o que ...
-2
votos
1
resposta
49
visitas
Como localizar determinado campo na tela do meu computador e extrair suas informações?
saudações,
Estou buscando como eu conseguiria extrair informações de um software que utilizo.
Eu precisaria realizar uma validação em tempo real para validar informações do CPF do cadastro aberto no ...
-1
votos
2
respostas
54
visitas
Como coletar texto quando não tem classe HTML de referência [fechada]
Estou tentando puxar os dados desse código da imagem. O que me interessa é a leta I onde está marcado de vermelho.
Já tentei dessa forma abaixo, mas não deu certo:
url = 'https://blaze.com/pt/games/...
-1
votos
1
resposta
579
visitas
Como unir vários DataFrames em um único arquivo excel
Tenho um código de WebSacraping, utilizando o loop for, ele busca e retorna varios DataFrames com as informações, gostaria de salva-las em excel, porem quando utilizo a fórmula to_excel, ele salva ...
4
votos
1
resposta
43
visitas
Qual a difença entre usar "tab <- html_table(tabela)[[1]]" ou "tab <- html_table(tabela)" do pacote rvest
library(rvest)
url <- 'http://espn.go.com/nfl/superbowl/history/winners'
pagina <- read_html(url)
tabela <- html_nodes(pagina, 'table')
tab <- html_table(tabela)[[1]]
O código acima ...
-2
votos
1
resposta
217
visitas
Python, Selenium - Scroll Google Maps
Bom dia.
Estou desenvolvendo um Script python onde ele acessa o Google Maps e pesquisa determinada loja e coleta os dados dela através do XPATH //[@id="pane"].
Porém o Google Maps carrega a ...
-1
votos
1
resposta
79
visitas
undefined method "content" em Ruby
Estou tentando rodar esse arquivo em Ruby:
require 'nokogiri'
require 'net/http'
https = Net::HTTP.new('onebitcode.com', 443)
https.use_ssl = true
response = https.get("/")
doc = Nokogiri:...
2
votos
1
resposta
232
visitas
Web scraping em R: como automatizar a retirada de informações específicas de páginas?
Ideia
Minha ideia é extrair alguns dados do Campeonato Brasileiro Série A na era dos pontos corridos (2003-2021) no site besoccer.
Ferramentas utilizadas
Linguagem R
RStudio
Bibliotecas robotstxt, ...
-2
votos
2
respostas
2mil
visitas
Checar a existência de um elemento usando Python & Selenium?
estou desenvolvendo um Web Scraping, e estou tentando fazer um método que quando o usuário entrar em uma determinada página que contenha um elemento com uma class expecifica o código continua, mas ...
0
votos
1
resposta
499
visitas
Python - Webscraping - Selecionar item no dropdown
Sou iniciante no Python e estou tendo algumas dificuldades com o
webscraping no python.
Estou tentando selecionar um item no dropdown e não estou conseguindo,
ele para na parte do dropdown e não ...
-1
votos
1
resposta
56
visitas
BeatifulSoap retornando apenas uma linha
Quando faço um scraping nessa página: https://ipinfo.io/countries/br, o for está me retornando apenas o primeiro registro encontrado da tabela, já tentei de várias formas, alterando as tags e sintaxes ...
0
votos
2
respostas
520
visitas
Como eu faço pra pegar esse 'title' dentro de um <h3> com o BeautifulSoup
Estou pegando essa classe no Beautifulsoup e preciso colher o título dentro do a que está dentro do h3
<article class="product_pod">
<div class="image_container">
...
-1
votos
1
resposta
259
visitas
Erros no Geckodriver auto-installer (webdriver para web-scraping)
Bom dia,
Fiz um script de web-scraping usando Selenium, pandas, bf4 and GeckoDriver
import requests
from bs4 import BeautifulSoup
from selenium import webdriver
from selenium.webdriver.firefox.options ...
0
votos
0
respostas
114
visitas
Como recortar HTML de site com VBA?
Estou tentando fazer o webscraping de um dado de um site para o excel por meio do VBA.
Consigo, no código que estou desenvolvendo, acessar o site, mas até agora não entendi bem como este dado está ...
-3
votos
1
resposta
50
visitas
Porque o request.ok dá False neste worten scraper?
import requests
from bs4 import BeautifulSoup
import csv
def get_page(url):
resposta = requests.get(url)
print(resposta.ok)
def main():
url = 'https://www.worten.pt/search?query='
...
-2
votos
1
resposta
2mil
visitas
Python - Selenium com Xpath não funciona nesse site [fechada]
Estou tentando fazer uma automação em Python para atualizar a página desse portal onde clientes colocam solicitações para fazermos cotação como fornecedores.
Ja fiz outras automações em Python com ...
1
voto
1
resposta
356
visitas
Scraping de tabela na wikipedia com Python
Estou tentando fazer scraping da tabela de classificação final do campeonato brasileiro de 1971, disponível na wikipedia. O máximo que consegui foi pegar a primeira tabela, e mesmo ela, não consegui ...
-3
votos
1
resposta
76
visitas
Web Scrapping - Python [fechada]
Quando Header Cache-Control é private, isso quer dizer que não é possível acessar formulário pelo Requests? Ideia era coletar da fonte Pública, os dados médios do combustível de todas as cidades de ...
-1
votos
1
resposta
62
visitas
Como corrigir erro em tibble
Estou tentando capturar notícias da Folha de SP, mas o código dá erro na metade.
Aparece o seguinte erro:
Erro: Tibble columns must have compatible sizes.
Size 25: Existing data.
Size 23: Column at ...
-3
votos
1
resposta
642
visitas
Erro SSL (Modulo requests Python)
Estou desenvolvendo um programa para a captura de artigos no site da Scielo, o programa estava funcionando perfeitamente, porém hoje pela manhã quando fui executa-lo o seguinte erro me foi apresentado:...
-1
votos
2
respostas
461
visitas
Função de Requisição GET executa antes mesmo de ser chamada ao clique de um Botão
Olá, estou produzindo um programa simples de Requisição de dados climáticos de uma cidade com python, uso as seguintes bibliotecas:
Tkinter,
Requests
Objetivo:
O usuário digitará o nome da cidade ...
-2
votos
1
resposta
2mil
visitas
Como Fazer um scraping com Python para comparar preços em um site de compras?
Comparando o preço de um mesmo produto a cada minuto e me notificando quando o valor cair 50%. Usei um While >= mas está retornando um erro indicando que não pode usar >= entre str e int.
Ele ...
-1
votos
1
resposta
684
visitas
pegar elemento superior selenium, python, scraping
<div class="cell-list-content-icon">
<span><i class="fa fa-briefcase"></i>EMPRESA XXXXXXXX</span>
<span><i class="fas fa-map-marker-alt&...
-1
votos
1
resposta
324
visitas
Como fazer Scraping de uma tabela e inserir os dados no banco de dados?
Bom, basicamente o que eu preciso é fazer um microservice que extraia os preços da cotação da soja dessa tabela: https://www.canalrural.com.br/cotacao/soja/. E depois inserir os dados em um banco de ...
2
votos
2
respostas
264
visitas
Como raspar tabelas do QlikView usando Nodejs?
Este site do governo brasileiro apresenta dados salariais para juízes de várias instâncias e tribunais. Gostaria de baixar todas as tabelas, mas os dados referentes às tabelas não estão no html que ...
-3
votos
1
resposta
256
visitas
Montando um Web Scraping com Python
tudo bem? Pois bem, sou um entusiasta de programção, e peguei um tutorial para fazer webscraping. A lógica eu até entendi, porém estou enfrentando um problema quando um dos dados estão faltando no ...
-2
votos
1
resposta
436
visitas
Como ler <br/> em arquivos HTML e imprimir como quebra de linha?
Fiz um web scraper utilizando os módulos BeautifulSoup e requests, que pega a definição e exemplo de conceitos no Urban Dictionary. Este é código, utilizando a palavra "reparation" como ...
-2
votos
1
resposta
125
visitas
Web Scraping com Rvest - Problema com raspagem dos dados (links principalmente)
Estou tentando fazer um Web Scraping do site da Web Of Science, mas esstou enfrentando problemas com a raspagem de links do site.
Minha intenção é raspar títulos dos artigos, links que direcionam para ...
0
votos
2
respostas
484
visitas
Juntar células com python
Estou fazendo um web scraping para pegar dados das melhores ações do dia e juntar numa tabela em um arquivo do excel. Estou tentando pelo código:
from selenium import webdriver
from webdriver_manager....
0
votos
1
resposta
757
visitas
ERRO urllib.error.HTTPError: HTTP Error 404: Not Found
Tenho o seguinte código, simples.
from urllib.request import urlopen
from bs4 import BeautifulSoup
word_site = urlopen('https://svnweb.freebsd.org/csrg/share/dict/words?view=markup&pathrev=61569')...
-1
votos
1
resposta
98
visitas
RSelenium - Como clicar no check-box e então no botão submit
Estou tentando fazer um web scraping do site do Banco Central. Para isso, preciso selecionar um item do menu drop-down, então marcar um check box e então clicar no botão de submit.
Mas quando eu tento ...
-2
votos
1
resposta
287
visitas
Como capturar o data-tooltip usando selenium no Python
Olá, é o seguinte o meu problema: Estou fazendo um web scraping na seguinte URL > https://www.maze.com.br/produto/tenis-nike-air-jordan-ma2-ultramarine-branco/4749595.
Acabei me deparando com um ...
1
voto
1
resposta
1mil
visitas
Erro em tempo de Execução 438: O Objeto não aceita propriedade ou Métodos
Estou adaptando código VBA para raspagem, mas estou recebendo essa mensagem quando chega a etapa de enviar o dado para o formulário de Login.
Erro em tempo de Execução 438: O Objeto não aceita ...
1
voto
0
respostas
54
visitas
Web Scraping com R - tabela estática
Gostaria de consolidar os dados de um site de aposta em uma base de dados no R.
Estou tentando da forma abaixo, mas meu script não reconhece as colunas e linhas da tabela de fato, apenas o layout:
...
-1
votos
1
resposta
99
visitas
Como posso pegar o value de uma tag span com jsoup?
public class Main {
public static void main(String[] args) throws IOException {
// write your code here
Document doc = (Document) Jsoup.connect("https://cod.tracker.gg/warzone/...
0
votos
1
resposta
1mil
visitas
Como usar o selenium para selecionar uma tag específica com uma classe comum a outras tags?
Eu to querendo fazer scrapping dos dados mais atualizados desta página. Todos os dias ela disponibiliza os dados do dia atual e do dia seguinte. Meu maior interesse é nos dados do dia seguinte. Ao ...
0
votos
0
respostas
113
visitas
Por que a vírgula some ao converter um HTML para str no Python?
Eu tô extraindo uns dados de uma página utilizando scraping seguindo um tutorial que vi no YouTube. Segue o código:
import requests
import pandas as pd
from bs4 import BeautifulSoup
from selenium ...
1
voto
2
respostas
1mil
visitas
BeautifulSoup: Pegar text dentro de tabela
Estou tentando pegar valores específicos dentro de uma tabela, eu tenho um código similar que já utilizo da mesma forma em outra estrutura de tabela única dentro do html, o problema e que não consigo ...
0
votos
2
respostas
98
visitas
Transformar cada node de um site em um elemento de um array
Quero transformar cada manchete desse site em um elemento de um Array. Já tentei de diversas formas mas nenhuma dá certo, então se puderem me ajudar fico grato.
Estou utilizando o HtmlAgilityPack
...
1
voto
1
resposta
60
visitas
Alterar o idioma do resultado de um web-scraping com rvest a partir do site do IMDB
Quero coletar informações sobre o Top 250 do IMDB usando o pacote rvest. Ao visitar o link da página, os nomes dos filmes aparecem em seu idioma original, ao menos no meu navegador (Firefox 85.0.1, ...
1
voto
0
respostas
396
visitas
Scraping no instagram
Olá, gostaria de pedir uma ajuda, estou querendo fazer um scraping no Instagram para poder fazer analise de personas e extrair alguns dados como tags mais utilizadas pelas pessoas que seguem um ...