Perguntas com a tag [beautifulsoup]
Beautiful Soup é uma biblioteca escrita em Python para análise de documentos HTML e XML. Muito usada na prática de Web Scraping, ela cria uma árvore de análise do documento para coleta ou raspagem de informações de uma página web.
64
perguntas
-2
votos
0
respostas
11
visitas
Copiando dados com Selenium (webscraping)
Estou com um objetivo de fazer uma automação que pegue uma informação de uma planilha excel e insira em um site específico, mas não sei como pegar o resultado(a informação) deste site e colocar na ...
0
votos
0
respostas
36
visitas
Criando DataFrame com dados coletados com Beautiful Soup e Python (Web Scraping)
Olá, estou trabalhando em um projeto pessoal, onde desejo fazer a raspagem de uma lista do Site IMDB (Top 250 Movies) e depois criar um DataFrame com Pandas pra visualizar esses dados. Acontece que ...
-3
votos
1
resposta
71
visitas
Como recarregar página web caso find_element não encontre o XPath escolhido
Boa tarde!
Estou estruturando um bot de coleta de dados, mas como o site que estou fazendo a raspagem demora as vezes pra carregar ou nem carrega, o bot da erro por não encontrar o XPath.
Assim que ...
0
votos
0
respostas
44
visitas
o Beautiful Soup não está extraindo o mesmo HTML do Google
Estou tentando extrair algumas informações do Google Shopping utilizando o BeautifulSoup no Python. Dentro do Inspecionar no DevTools eu identifiquei as tags que eu preciso para extrair cada ...
-1
votos
1
resposta
45
visitas
BeatifulSoap retornando apenas uma linha
Quando faço um scraping nessa página: https://ipinfo.io/countries/br, o for está me retornando apenas o primeiro registro encontrado da tabela, já tentei de várias formas, alterando as tags e sintaxes ...
0
votos
2
respostas
350
visitas
Como eu faço pra pegar esse 'title' dentro de um <h3> com o BeautifulSoup
Estou pegando essa classe no Beautifulsoup e preciso colher o título dentro do a que está dentro do h3
<article class="product_pod">
<div class="image_container">
...
1
voto
1
resposta
269
visitas
Scraping de tabela na wikipedia com Python
Estou tentando fazer scraping da tabela de classificação final do campeonato brasileiro de 1971, disponível na wikipedia. O máximo que consegui foi pegar a primeira tabela, e mesmo ela, não consegui ...
1
voto
2
respostas
235
visitas
Tou fazendo webscraping com python e não consigo quebrar um loop
Estou automatizando a pesquisa por notebooks gamer na amazon, que além de pegar a primeira página ele pega as próximas, mas ele chega num ponto que não para de tentar pegar mais paginas e nunca sai do ...
-2
votos
1
resposta
340
visitas
Como ler <br/> em arquivos HTML e imprimir como quebra de linha?
Fiz um web scraper utilizando os módulos BeautifulSoup e requests, que pega a definição e exemplo de conceitos no Urban Dictionary. Este é código, utilizando a palavra "reparation" como ...
-1
votos
2
respostas
968
visitas
ModuleNotFoundError: No module named 'bs4' e não consigo acessar o modulo bs4
Estou tentando importar o modulo bs4 em um código e toda vez que eu tento o seguinte erro é exibido
ModuleNotFoundError: No module named 'bs4'
Teoricamente o modulo bs4 já foi instalado e quando eu ...
-3
votos
1
resposta
137
visitas
Retornar elemento contido em tag no BeautifulSoup [fechada]
Site: Malha do metrô do município de São Paulo.
Objetivo: Scraping do nome das estações de cada linha.
Dificuldade: Não estou conseguindo isolar os nomes, por exemplo: Jabaquara, Liberdade...
from bs4 ...
1
voto
1
resposta
218
visitas
Por que a resposta de request HTTP não reconhece caracteres especiais?
Por que quando eu faço um request usando BeautifulSoup em Python, a minha resposta não considera caracteres latinos?
Código:
import requests
from bs4 import BeautifulSoup
req = requests.post(url= f&...
1
voto
2
respostas
406
visitas
Dúvida sobre extração de valores usando soup.findAll() em Python
Boa tarde a todos.
Estou estudando python e aprendendo a fazer extração de dados em sites e para dá início a esse aprendizado estou criando um programa que irá extrair os dados da lotofacil do site da ...
0
votos
1
resposta
153
visitas
Python Beautifulsoup remover tag dentro de tag
estou com um problema ao fazer um scrap de uma página e capturar o texto.
Basicamente o comeco do meu código é o seguinte:
url0 = 'https://www.service.bund.de/Content/DE/Ausschreibungen/Suche/Formular....
1
voto
2
respostas
994
visitas
BeautifulSoup: Pegar text dentro de tabela
Estou tentando pegar valores específicos dentro de uma tabela, eu tenho um código similar que já utilizo da mesma forma em outra estrutura de tabela única dentro do html, o problema e que não consigo ...
0
votos
1
resposta
227
visitas
Como pegar um valor de um input diferenciado usando BeautifulSoup
To fazendo um programinha pra aprender a usar o BeautifulSoup e estou fazendo um negociador de moedas que converte o valor da moeda X para a moeda Y, meu programa inicialmente pega do site do iban ...
1
voto
1
resposta
142
visitas
Erro ao imprimir HTML com BeautifulSoup
Tenho um código simples que acessa um site de quiz e pega todas as ul que contêm a classe square e imprime na tela.
url = "http://quizdomilhao.com.br/category/g1"
question_page = requests....
5
votos
1
resposta
525
visitas
Como utilizar o "find" do BeautifulSoup para encontrar uma tag script com tipo específico?
Há um tempo venho estudando como usar BeautifulSoup para conseguir encontrar conteúdo de tags etc.
Mas me deparei com um problema no qual o conteúdo que quero encontrar fica dentro de uma tag <...
0
votos
0
respostas
85
visitas
Gostaria de iterar sobre um objeto do Beautiful soup, porém no final ele da um erro no find() por ser uma lista. Como eu poderia resolver este erro?
import requests
from bs4 import BeautifulSoup
import pandas as pd
def get_object(url):
soup = BeautifulSoup(requests.get(url).content,'html.parser')
return soup
def ...
2
votos
1
resposta
846
visitas
Como extrair texto de um elemento selecionado do BeautifulSoap?
Estou fazendo um crawler simples para obter algumas notícias do mercado financeiro. O código abaixo está funcionando corretamente, mas gostaria de extrair apenas a manchete e então excluir os códigos ...
-1
votos
1
resposta
228
visitas
Como usar find no resultado de find_all
Quando executo um find_all, depois não consigo usar find no resultado deste.
Exemplo:
anuncios = soup.find_all('div', class_='txt-value')
anuncios.find('p', class_='well') # Erro!
Mas se eu não usar ...
0
votos
1
resposta
102
visitas
Como mover o titulo de uma coluna para outra?? (web scraping-python)
Estou tentando fazer um web scraping, porém se você visualizar o site percebe que certos títulos estão sobre certas colunas. O que meu programa faz é pegar a tabela, criar duas colunas cheias de NaN e ...
-1
votos
1
resposta
952
visitas
Pegar textos dentro de uma coluna dentro de uma tabela em Python
eu sempre uso variações desse código em outras tabelas e costuma dar certo, mas nessa eu tento de todo jeito e não dá, o que estou fazendo de errado?
url = "https://www.reddit.com/r/movies/...
0
votos
1
resposta
1mil
visitas
Como usar multithreading com requests?
Olá, estou desenvolvendo um checker de disponibilidade de troca de nomes pra um jogo, mas ele é muito lento, lí sobre o módulo multithreading mas achei confuso de usar, não faço a mínima ideia de como ...
0
votos
0
respostas
341
visitas
Obter um atributo específico do HTML utilizando Beautifulsoup
Estou tentando capturar (pegar) um atributo chamado srcset dentro de um tag img
<img _ngcontent-games2-c5="" class="mdc-image-list__image ng-lazyloaded" offset="100" src="/assets/img/lazy-load.jpg"...
0
votos
2
respostas
881
visitas
Web scraping com BeautifulSoup - find_next não retorna o texto
Quero extrair o texto do trecho abaixo:
<div class="matchDate renderMatchDateContainer" data-kickoff="1583784000000">Mon 9 Mar 2020</div>
o texto seria "Mon 9 Mar 2020". Porém quando ...
1
voto
2
respostas
579
visitas
Regex não pega todos os textos das tags span
Sei que existem parsers de HTML, mas como o meu HTML não está bem estruturado, preciso usar também expressões regulares.
O HTML é assim:
<tr bgcolor="#CCCCCC">
<td colspan="2"><font ...
0
votos
1
resposta
154
visitas
Adicionar elementos em Dicionario e converte-los para string
Olá,
estou fazendo uns testes com Scraping utilizando a biblioteca "BeautifulSoup" do python e me surgiu uma duvida. Eu consegui extrair algumas informações do um site como titulo do produto, sku, e ...
0
votos
1
resposta
793
visitas
Baixar imagens de uma lista txt(links) python
Primeiro importei os pacote e criei uma classe e suas definições:
class Scraper:
def __init__(self):
self.visited = set()
self.session = requests.Session()
self.session.headers = {"User-...
0
votos
0
respostas
240
visitas
HTTP Error 429: Too Many Requests no Web scraping no repl
Ao executar o código abaixo, encontro:
HTTP Error 429: Too Many Requests o servidor deve ter limite de tempo
entre as requisições.
#Imports necessários do bs4
import bs4
from urllib.request ...
0
votos
1
resposta
87
visitas
Como posso substituir esta expressão regular utilizando o Beautiful Soup
Atualmente eu utilizo esta expressão para extrair tudo o que está abaixo da tag <b> até encontrar outra tag <b>:
blocks = re.findall(r'<b>.+?<b>', str(element))
Como eu posso ...
1
voto
2
respostas
4mil
visitas
Como extrair informação da table(html) e passar para uma Dataframe - Utilizando selenium
Estou utilizando o selenium para acessar o site http://www2.bmf.com.br/pages/portal/bmfbovespa/lumis/lum-ajustes-do-pregao-ptBR.asp e manipular a caixa de data e o botão ok. Até o momento consegui ...
0
votos
1
resposta
51
visitas
Python BeautifulSoup duvidas
Estou fazendo um requests.post e ele me retorna as seguintes informações:
{"Name":"Joey Triibianni","Vocation":"Knight","Level":"425","World":"Quelibra","Account Status:":"Free Account"}
Já tentei ...
0
votos
0
respostas
55
visitas
Webscraping de imagens em comentarios
Estou trabalhando em um web scraper que precisa resgatar comentários em um fórum que permite o upload de imagens. O texto e o autor do comentário consegui obter usando um findAll no Beautiful Soup, ...
1
voto
2
respostas
1mil
visitas
Em requests, como ler corretamente o encoding ISO-8859-1?
Em Python3, com beautifulsoup4 e requests, quero extrair algumas informações de um site que possui encoding 'ISO-8859-1'. Tentei essa estratégia para mostrar corretamente o texto:
import requests
...
2
votos
2
respostas
937
visitas
Como fazer coleta de dados em web scrapping no Python?
Dentro desta URL, tem vários links , tenho que pegar os links referentes ao mês de junho de 2017, fazer download deles e criar um dataframe com todos os arquivos em um só.
Porém travei aqui nesta ...
-1
votos
1
resposta
132
visitas
Remover tags dentro de tag usando Beautiful Soup
Preciso remover todas as tags span dentro das tags p mantendo seu conteudo.
Codigo html:
<p>Conceito <span>e</span> <span>Signi</span>ficado<span> </span>de ...
-1
votos
1
resposta
152
visitas
Beautifulsoup - pesquisa de href por texto
Boa tarde a todos, estou com um problema que ainda não consegui resolver nem encontrei nenhum relacionado.
Se eu tiver:
codigo_pagina = '''<li><span><span style="font-family: Courier ...
-1
votos
1
resposta
588
visitas
Como abrir vários HTML's e salvar o conteúdo sequencialmente em um txt
Preciso abrir vários HTML's, obter o texto deles e salvar em um txt de maneira sequencial, mas não sei como fazer isso.
Eu consigo fazer isso com um único HTML, mas preciso fazer isso com vários, e ...
0
votos
3
respostas
2mil
visitas
bs4.FeatureNotFound (Erro no BeaultifullSoup e parser)
Eu preciso extrair todo o texto de um html. Daí resolvi dar uma olhada no BeaultiSoup, pra ver como eu fazia isso com ele. Porém ele começou a mostrar o texto logo no inicio, eis o codigo:
import ...
0
votos
1
resposta
445
visitas
Mudar de pagina em um tabela html com beautifulsoup
Estou coletando os dados nesse site, utilizando requests e beautifulsoup. Consegui coletar todos os dados da pagina 1, porem não consigo mudar a pagina.
Codigo Python
variaveis = []
df_list = [...
1
voto
0
respostas
45
visitas
Leitura tabela em Python com Beautiful Soup [duplicada]
Estou precisando pegar uma tabela do portal da transparência para depois gravar no banco de dados. Estou usando o Beautiful Soup.
Não consigo trazer no request a parte que tem os dados e por ...
1
voto
1
resposta
4mil
visitas
Web scraping em página com login e senha
Estou tentando extrair um código fonte de um arquivo html com o seguinte estilo:
<div class="both"></div>
<div class="st-box" id="source-code">
<h3>SOURCE CODE<...
1
voto
1
resposta
172
visitas
Text.strip() Python
Estou tentando fazer um código que extraia algumas informações de uma página. O Arquivo possui o seguinte formato:
<tr class="impar">
<td class="id">
<a href="/judge/en/...
3
votos
1
resposta
2mil
visitas
Web scraping com Python (Selenium e Request)
Olá,
Estou tentando realizar um web scraping em uma página protegida por login, já consegui realizar o acesso tanto via Request, quanto via Selenium, o problema se dá após o login.
A página é a ...
0
votos
1
resposta
116
visitas
WebScrapping soup + python exportar para txt e verificar com shell script
Saudações pessoas, estou aqui com um código em python que me traz os milissegundos do ping de envio das notas fiscais eletronicas da sefaz no portal de status da NFC-e como abaixo :
#!/usr/bin/env ...
1
voto
2
respostas
788
visitas
Web scrapping com python não traz a informação completa da pagina html
Saudações pessoal, estou tentando utilizar python para poder pegar as informações da pagina http://www.nfce.se.gov.br/portal/painelMonitor.jsp , é uma pagina da sefaz onde tem o status de ping dos ...
-1
votos
1
resposta
259
visitas
Remover texto do elemento pai mantendo as filhas em BS4 no Python
Como remover o texto indevido mantendo o titulo, paragrafo e link.
Codigo:
<html>
<body>
<header>
<h1>
Titulo
</h1>
</header>
<p>...
0
votos
4
respostas
301
visitas
Remover tag de comentário e seu conteúdo em Beautifulsoup 4
Como faço para remover a tag de comentário junto com o conteúdo dela com o bs4 ?
<div class="foo">
A Arara é um animal voador.
<!--
<p>Animais
Nome: Arara
Idade: 12 anos e 9 meses
...
1
voto
1
resposta
397
visitas
Raspagem de dados usando Robobrowser
Estou tentando fazer a raspagem de um formulário, para inserir um anexo e enviar, usando o Robobrowser.
Para abrir a página eu faço:
browser.open('url')
Para pegar o formulário eu faço:
form = ...