Perguntas com a tag [beautifulsoup]

Beautiful Soup é uma biblioteca escrita em Python para análise de documentos HTML e XML. Ela cria uma árvore de análise do documento para coleta ou raspagem de informações de uma página web. NÃO POSTE perguntas que dependam de URLs e sites específicos, forneça sempre perguntas com problemas de desenvolvimento de fato, em um exemplo autocontido do problema na pergunta. Problemas de uso em cenários restritos fogem do objetivo do site.

Filtrar por
Ordenado por
Com tags
-2 votos
0 respostas
16 visitas

Extrair os dados das tAGs caption + thead + tbody usando apenas python e BeautifulSoup? [fechada]

No código abaixo existem diversos ativos e os dados de cada ativo estão nas TAGs (caption + thead + tbody). Preciso extrair os dados de cada ativo e armazenar com base na data do dia usando python e ...
WMB's user avatar
  • 1
-3 votos
1 resposta
234 visitas

Como recarregar página web caso find_element não encontre o XPath escolhido

Boa tarde! Estou estruturando um bot de coleta de dados, mas como o site que estou fazendo a raspagem demora as vezes pra carregar ou nem carrega, o bot da erro por não encontrar o XPath. Assim que ...
mr robot's user avatar
-1 votos
1 resposta
62 visitas

BeatifulSoap retornando apenas uma linha

Quando faço um scraping nessa página: https://ipinfo.io/countries/br, o for está me retornando apenas o primeiro registro encontrado da tabela, já tentei de várias formas, alterando as tags e sintaxes ...
Linvxxx's user avatar
  • 19
0 votos
2 respostas
697 visitas

Como eu faço pra pegar esse 'title' dentro de um <h3> com o BeautifulSoup

Estou pegando essa classe no Beautifulsoup e preciso colher o título dentro do a que está dentro do h3 <article class="product_pod"> <div class="image_container"> ...
lucassentone's user avatar
1 voto
1 resposta
429 visitas

Scraping de tabela na wikipedia com Python

Estou tentando fazer scraping da tabela de classificação final do campeonato brasileiro de 1971, disponível na wikipedia. O máximo que consegui foi pegar a primeira tabela, e mesmo ela, não consegui ...
annacoloda's user avatar
1 voto
2 respostas
312 visitas

Tou fazendo webscraping com python e não consigo quebrar um loop

Estou automatizando a pesquisa por notebooks gamer na amazon, que além de pegar a primeira página ele pega as próximas, mas ele chega num ponto que não para de tentar pegar mais paginas e nunca sai do ...
Farofa de Cachorro's user avatar
-2 votos
1 resposta
472 visitas

Como ler <br/> em arquivos HTML e imprimir como quebra de linha?

Fiz um web scraper utilizando os módulos BeautifulSoup e requests, que pega a definição e exemplo de conceitos no Urban Dictionary. Este é código, utilizando a palavra "reparation" como ...
mat_evangelista's user avatar
-1 votos
2 respostas
1mil visitas

ModuleNotFoundError: No module named 'bs4' e não consigo acessar o modulo bs4

Estou tentando importar o modulo bs4 em um código e toda vez que eu tento o seguinte erro é exibido ModuleNotFoundError: No module named 'bs4' Teoricamente o modulo bs4 já foi instalado e quando eu ...
Gabriel Padilha's user avatar
-3 votos
1 resposta
401 visitas

Retornar elemento contido em tag no BeautifulSoup [fechada]

Site: Malha do metrô do município de São Paulo. Objetivo: Scraping do nome das estações de cada linha. Dificuldade: Não estou conseguindo isolar os nomes, por exemplo: Jabaquara, Liberdade... from bs4 ...
Ronaldo Nishime's user avatar
1 voto
1 resposta
407 visitas

Por que a resposta de request HTTP não reconhece caracteres especiais?

Por que quando eu faço um request usando BeautifulSoup em Python, a minha resposta não considera caracteres latinos? Código: import requests from bs4 import BeautifulSoup req = requests.post(url= f&...
all0y74's user avatar
  • 11
1 voto
2 respostas
580 visitas

Dúvida sobre extração de valores usando soup.findAll() em Python

Boa tarde a todos. Estou estudando python e aprendendo a fazer extração de dados em sites e para dá início a esse aprendizado estou criando um programa que irá extrair os dados da lotofacil do site da ...
Douglas Almeida's user avatar
0 votos
1 resposta
233 visitas

Python Beautifulsoup remover tag dentro de tag

estou com um problema ao fazer um scrap de uma página e capturar o texto. Basicamente o comeco do meu código é o seguinte: url0 = 'https://www.service.bund.de/Content/DE/Ausschreibungen/Suche/Formular....
jvqp's user avatar
  • 1.009
1 voto
2 respostas
2mil visitas

BeautifulSoup: Pegar text dentro de tabela

Estou tentando pegar valores específicos dentro de uma tabela, eu tenho um código similar que já utilizo da mesma forma em outra estrutura de tabela única dentro do html, o problema e que não consigo ...
kleytonsolinho's user avatar
0 votos
1 resposta
315 visitas

Como pegar um valor de um input diferenciado usando BeautifulSoup

To fazendo um programinha pra aprender a usar o BeautifulSoup e estou fazendo um negociador de moedas que converte o valor da moeda X para a moeda Y, meu programa inicialmente pega do site do iban ...
SrTony's user avatar
  • 36
2 votos
1 resposta
206 visitas

Erro ao imprimir HTML com BeautifulSoup

Tenho um código simples que acessa um site de quiz e pega todas as ul que contêm a classe square e imprime na tela. url = "http://quizdomilhao.com.br/category/g1" question_page = requests....
Joa Roque's user avatar
6 votos
1 resposta
822 visitas

Como utilizar o "find" do BeautifulSoup para encontrar uma tag script com tipo específico?

Há um tempo venho estudando como usar BeautifulSoup para conseguir encontrar conteúdo de tags etc. Mas me deparei com um problema no qual o conteúdo que quero encontrar fica dentro de uma tag <...
Lucas Coacci's user avatar
0 votos
0 respostas
100 visitas

Gostaria de iterar sobre um objeto do Beautiful soup, porém no final ele da um erro no find() por ser uma lista. Como eu poderia resolver este erro?

import requests from bs4 import BeautifulSoup import pandas as pd def get_object(url): soup = BeautifulSoup(requests.get(url).content,'html.parser') return soup def ...
isabele alves pereira's user avatar
2 votos
1 resposta
1mil visitas

Como extrair texto de um elemento selecionado do BeautifulSoap?

Estou fazendo um crawler simples para obter algumas notícias do mercado financeiro. O código abaixo está funcionando corretamente, mas gostaria de extrair apenas a manchete e então excluir os códigos ...
Edu Barros's user avatar
-1 votos
1 resposta
413 visitas

Como usar find no resultado de find_all

Quando executo um find_all, depois não consigo usar find no resultado deste. Exemplo: anuncios = soup.find_all('div', class_='txt-value') anuncios.find('p', class_='well') # Erro! Mas se eu não usar ...
user avatar
0 votos
1 resposta
116 visitas

Como mover o titulo de uma coluna para outra?? (web scraping-python)

Estou tentando fazer um web scraping, porém se você visualizar o site percebe que certos títulos estão sobre certas colunas. O que meu programa faz é pegar a tabela, criar duas colunas cheias de NaN e ...
Frybii's user avatar
  • 43
-1 votos
1 resposta
1mil visitas

Pegar textos dentro de uma coluna dentro de uma tabela em Python

eu sempre uso variações desse código em outras tabelas e costuma dar certo, mas nessa eu tento de todo jeito e não dá, o que estou fazendo de errado? url = "https://www.reddit.com/r/movies/...
diegooli's user avatar
0 votos
1 resposta
2mil visitas

Como usar multithreading com requests?

Olá, estou desenvolvendo um checker de disponibilidade de troca de nomes pra um jogo, mas ele é muito lento, lí sobre o módulo multithreading mas achei confuso de usar, não faço a mínima ideia de como ...
carlitoshow's user avatar
0 votos
0 respostas
498 visitas

Obter um atributo específico do HTML utilizando Beautifulsoup

Estou tentando capturar (pegar) um atributo chamado srcset dentro de um tag img <img _ngcontent-games2-c5="" class="mdc-image-list__image ng-lazyloaded" offset="100" src="/assets/img/lazy-load.jpg"...
Gabriel's user avatar
  • 129
0 votos
2 respostas
1mil visitas

Web scraping com BeautifulSoup - find_next não retorna o texto

Quero extrair o texto do trecho abaixo: <div class="matchDate renderMatchDateContainer" data-kickoff="1583784000000">Mon 9 Mar 2020</div> o texto seria "Mon 9 Mar 2020". Porém quando ...
otavios's user avatar
1 voto
2 respostas
762 visitas

Regex não pega todos os textos das tags span

Sei que existem parsers de HTML, mas como o meu HTML não está bem estruturado, preciso usar também expressões regulares. O HTML é assim: <tr bgcolor="#CCCCCC"> <td colspan="2"><font ...
Caio Camargo's user avatar
0 votos
1 resposta
191 visitas

Adicionar elementos em Dicionario e converte-los para string

Olá, estou fazendo uns testes com Scraping utilizando a biblioteca "BeautifulSoup" do python e me surgiu uma duvida. Eu consegui extrair algumas informações do um site como titulo do produto, sku, e ...
Guilhermecor's user avatar
0 votos
1 resposta
993 visitas

Baixar imagens de uma lista txt(links) python

Primeiro importei os pacote e criei uma classe e suas definições: class Scraper: def __init__(self): self.visited = set() self.session = requests.Session() self.session.headers = {"User-...
Hudson Souza's user avatar
0 votos
0 respostas
309 visitas

HTTP Error 429: Too Many Requests no Web scraping no repl

Ao executar o código abaixo, encontro: HTTP Error 429: Too Many Requests o servidor deve ter limite de tempo entre as requisições. #Imports necessários do bs4 import bs4 from urllib.request ...
Gustavo William's user avatar
0 votos
1 resposta
95 visitas

Como posso substituir esta expressão regular utilizando o Beautiful Soup

Atualmente eu utilizo esta expressão para extrair tudo o que está abaixo da tag <b> até encontrar outra tag <b>: blocks = re.findall(r'<b>.+?<b>', str(element)) Como eu posso ...
Rodrigosis's user avatar
1 voto
2 respostas
6mil visitas

Como extrair informação da table(html) e passar para uma Dataframe - Utilizando selenium

Estou utilizando o selenium para acessar o site http://www2.bmf.com.br/pages/portal/bmfbovespa/lumis/lum-ajustes-do-pregao-ptBR.asp e manipular a caixa de data e o botão ok. Até o momento consegui ...
jcodebeliever's user avatar
0 votos
1 resposta
58 visitas

Python BeautifulSoup duvidas

Estou fazendo um requests.post e ele me retorna as seguintes informações: {"Name":"Joey Triibianni","Vocation":"Knight","Level":"425","World":"Quelibra","Account Status:":"Free Account"} Já tentei ...
boka's user avatar
  • 3
0 votos
0 respostas
77 visitas

Webscraping de imagens em comentarios

Estou trabalhando em um web scraper que precisa resgatar comentários em um fórum que permite o upload de imagens. O texto e o autor do comentário consegui obter usando um findAll no Beautiful Soup, ...
Augusto Coelho's user avatar
1 voto
2 respostas
2mil visitas

Em requests, como ler corretamente o encoding ISO-8859-1?

Em Python3, com beautifulsoup4 e requests, quero extrair algumas informações de um site que possui encoding 'ISO-8859-1'. Tentei essa estratégia para mostrar corretamente o texto: import requests ...
Reinaldo Chaves's user avatar
2 votos
2 respostas
1mil visitas

Como fazer coleta de dados em web scrapping no Python?

Dentro desta URL, tem vários links , tenho que pegar os links referentes ao mês de junho de 2017, fazer download deles e criar um dataframe com todos os arquivos em um só. Porém travei aqui nesta ...
Sarmento 's user avatar
-1 votos
1 resposta
149 visitas

Remover tags dentro de tag usando Beautiful Soup

Preciso remover todas as tags span dentro das tags p mantendo seu conteudo. Codigo html: <p>Conceito <span>e</span> <span>Signi</span>ficado<span> </span>de ...
Igor Gabriel's user avatar
-1 votos
1 resposta
286 visitas

Beautifulsoup - pesquisa de href por texto

Boa tarde a todos, estou com um problema que ainda não consegui resolver nem encontrei nenhum relacionado. Se eu tiver: codigo_pagina = '''<li><span><span style="font-family: Courier ...
Bgreat's user avatar
  • 1
-1 votos
1 resposta
748 visitas

Como abrir vários HTML's e salvar o conteúdo sequencialmente em um txt

Preciso abrir vários HTML's, obter o texto deles e salvar em um txt de maneira sequencial, mas não sei como fazer isso. Eu consigo fazer isso com um único HTML, mas preciso fazer isso com vários, e ...
user avatar
0 votos
3 respostas
2mil visitas

bs4.FeatureNotFound (Erro no BeaultifullSoup e parser)

Eu preciso extrair todo o texto de um html. Daí resolvi dar uma olhada no BeaultiSoup, pra ver como eu fazia isso com ele. Porém ele começou a mostrar o texto logo no inicio, eis o codigo: import ...
user avatar
0 votos
1 resposta
570 visitas

Mudar de pagina em um tabela html com beautifulsoup

Estou coletando os dados nesse site, utilizando requests e beautifulsoup. Consegui coletar todos os dados da pagina 1, porem não consigo mudar a pagina. Codigo Python variaveis = [] df_list = [...
Pedro's user avatar
  • 31
1 voto
0 respostas
46 visitas

Leitura tabela em Python com Beautiful Soup [duplicada]

Estou precisando pegar uma tabela do portal da transparência para depois gravar no banco de dados. Estou usando o Beautiful Soup. Não consigo trazer no request a parte que tem os dados e por ...
wmoura12's user avatar
1 voto
1 resposta
4mil visitas

Web scraping em página com login e senha

Estou tentando extrair um código fonte de um arquivo html com o seguinte estilo: <div class="both"></div> <div class="st-box" id="source-code"> <h3>SOURCE CODE<...
Diego Rangel's user avatar
1 voto
1 resposta
240 visitas

Text.strip() Python

Estou tentando fazer um código que extraia algumas informações de uma página. O Arquivo possui o seguinte formato: <tr class="impar"> <td class="id"> <a href="/judge/en/...
Diego Rangel's user avatar
0 votos
1 resposta
132 visitas

WebScrapping soup + python exportar para txt e verificar com shell script

Saudações pessoas, estou aqui com um código em python que me traz os milissegundos do ping de envio das notas fiscais eletronicas da sefaz no portal de status da NFC-e como abaixo : #!/usr/bin/env ...
Rafael Xavier Suarez's user avatar
1 voto
2 respostas
1mil visitas

Web scrapping com python não traz a informação completa da pagina html

Saudações pessoal, estou tentando utilizar python para poder pegar as informações da pagina http://www.nfce.se.gov.br/portal/painelMonitor.jsp , é uma pagina da sefaz onde tem o status de ping dos ...
Rafael Xavier Suarez's user avatar
-1 votos
1 resposta
306 visitas

Remover texto do elemento pai mantendo as filhas em BS4 no Python

Como remover o texto indevido mantendo o titulo, paragrafo e link. Codigo: <html> <body> <header> <h1> Titulo </h1> </header> <p>...
Igor Gabriel's user avatar
0 votos
4 respostas
362 visitas

Remover tag de comentário e seu conteúdo em Beautifulsoup 4

Como faço para remover a tag de comentário junto com o conteúdo dela com o bs4 ? <div class="foo"> A Arara é um animal voador. <!-- <p>Animais Nome: Arara Idade: 12 anos e 9 meses ...
Igor Gabriel's user avatar
1 voto
1 resposta
430 visitas

Raspagem de dados usando Robobrowser

Estou tentando fazer a raspagem de um formulário, para inserir um anexo e enviar, usando o Robobrowser. Para abrir a página eu faço: browser.open('url') Para pegar o formulário eu faço: form = ...
Rafael's user avatar
  • 475
1 voto
1 resposta
225 visitas

Acessar Tag via beautifulsoup

Olá, Estou com dificuldade em acessar o preço que está na terceira linha do código via beautifulsoup. Alguém tem alguma ideia de como acessar? <...
Diogo Gonnelli's user avatar
1 voto
1 resposta
405 visitas

Beautiful Soup - Remover uma tag mantendo o Texto

Tenho as seguintes tags: <p>Projeto N <sup>o</sup> 00.000, DE 00 DE JANEIRO DE 0000.</p> Gostaria de remover a tag mantendo o texto. Precisava que ficasse assim: <p>...
Igor Gabriel's user avatar
0 votos
2 respostas
253 visitas

Duvida da Utilização do BeautifulSoup

Meu código abaixo é para pegar o gênero dos filmes do site IMDB, porém eu não estou sabendo pegar a tag em especifico de gêneros do site, pois as vezes em vez dele pegar o gênero ele pega a tag de ...
Daniel Rosendo de Souza's user avatar