Perguntas com a tag [beautifulsoup]
Beautiful Soup é uma biblioteca escrita em Python para análise de documentos HTML e XML. Muito usada na prática de Web Scraping, ela cria uma árvore de análise do documento para coleta ou raspagem de informações de uma página web.
54
perguntas
0
votos
1resposta
35 visitas
Como pegar um valor de um input diferenciado usando BeautifulSoup
To fazendo um programinha pra aprender a usar o BeautifulSoup e estou fazendo um negociador de moedas que converte o valor da moeda X para a moeda Y, meu programa inicialmente pega do site do iban ...
0
votos
0respostas
10 visitas
Como fazer o um cálculo entre um valor do BeautifulSoup e a entrada do usuário?
Eu tô fazendo um programa que faz a conversão de valores das moedas. Então ele recebe 3 consultas do usuário: a seleção da moeda do 1º país, a seleção da moeda do 2º país e o valor que ele quer ...
1
voto
1resposta
71 visitas
Erro ao imprimir HTML com BeautifulSoup
Tenho um código simples que acessa um site de quiz e pega todas as ul que contêm a classe square e imprime na tela.
url = "http://quizdomilhao.com.br/category/g1"
question_page = requests....
5
votos
1resposta
35 visitas
Como utilizar o “find” do BeautifulSoup para encontrar uma tag script com tipo específico?
Há um tempo venho estudando como usar BeautifulSoup para conseguir encontrar conteúdo de tags etc.
Mas me deparei com um problema no qual o conteúdo que quero encontrar fica dentro de uma tag <...
0
votos
0respostas
27 visitas
Gostaria de iterar sobre um objeto do Beautiful soup, porém no final ele da um erro no find() por ser uma lista. Como eu poderia resolver este erro?
import requests
from bs4 import BeautifulSoup
import pandas as pd
def get_object(url):
soup = BeautifulSoup(requests.get(url).content,'html.parser')
return soup
def ...
2
votos
1resposta
39 visitas
Como extrair texto de um elemento selecionado do BeautifulSoap?
Estou fazendo um crawler simples para obter algumas notícias do mercado financeiro. O código abaixo está funcionando corretamente, mas gostaria de extrair apenas a manchete e então excluir os códigos ...
0
votos
0respostas
21 visitas
BeautifulSoup está retornando None
Estou tentando pegar o título de um produto no site da Amazon, mas o valor retornado é sempre None.
Link do produto: https://www.amazon.com.br/Câmera-Sony-Alpha-a7III-Mirrorless/dp/B07B43WPVK/ref=...
-1
votos
1resposta
44 visitas
Como usar find no resultado de find_all
Quando executo um find_all, depois não consigo usar find no resultado deste.
Exemplo:
anuncios = soup.find_all('div', class_='txt-value')
anuncios.find('p', class_='well') # Erro!
Mas se eu não usar ...
0
votos
0respostas
36 visitas
Retorno vazio Selenium
Estou usando Selenium Python junto com BeautifulSoup para raspar dados. Preciso do html do site 'https://www.365scores.com/pt-br' após clicar no botão 'Ao vivo'. Estou conseguindo clicar no botão, mas ...
0
votos
1resposta
38 visitas
Como mover o titulo de uma coluna para outra?? (web scraping-python)
Estou tentando fazer um web scraping, porém se você visualizar o site percebe que certos títulos estão sobre certas colunas. O que meu programa faz é pegar a tabela, criar duas colunas cheias de NaN e ...
-1
votos
1resposta
111 visitas
Pegar textos dentro de uma coluna dentro de uma tabela em Python
eu sempre uso variações desse código em outras tabelas e costuma dar certo, mas nessa eu tento de todo jeito e não dá, o que estou fazendo de errado?
url = "https://www.reddit.com/r/movies/...
0
votos
1resposta
98 visitas
Como usar multithreading com requests?
Olá, estou desenvolvendo um checker de disponibilidade de troca de nomes pra um jogo, mas ele é muito lento, lí sobre o módulo multithreading mas achei confuso de usar, não faço a mínima ideia de como ...
-3
votos
1resposta
428 visitas
Problema em conversão de data (DD/MM/YYYY para YYYY-MM-DD) com 'pd.to_datetime()' - Python
boa tarde!
Estou iniciando no mundo do Python e estou tentando desenvolver um código simples para identificar o período de expiração de certificados digitais onde trabalho (é um projeto pessoal, mas ...
0
votos
0respostas
67 visitas
Obter um atributo específico do HTML utilizando Beautifulsoup
Estou tentando capturar (pegar) um atributo chamado srcset dentro de um tag img
<img _ngcontent-games2-c5="" class="mdc-image-list__image ng-lazyloaded" offset="100" src="/assets/img/lazy-load.jpg"...
0
votos
2respostas
135 visitas
Web scraping com BeautifulSoup - find_next não retorna o texto
Quero extrair o texto do trecho abaixo:
<div class="matchDate renderMatchDateContainer" data-kickoff="1583784000000">Mon 9 Mar 2020</div>
o texto seria "Mon 9 Mar 2020". Porém quando ...
1
voto
2respostas
193 visitas
Regex não pega todos os textos das tags span
Sei que existem parsers de HTML, mas como o meu HTML não está bem estruturado, preciso usar também expressões regulares.
O HTML é assim:
<tr bgcolor="#CCCCCC">
<td colspan="2"><font ...
0
votos
1resposta
62 visitas
Adicionar elementos em Dicionario e converte-los para string
Olá,
estou fazendo uns testes com Scraping utilizando a biblioteca "BeautifulSoup" do python e me surgiu uma duvida. Eu consegui extrair algumas informações do um site como titulo do produto, sku, e ...
0
votos
1resposta
400 visitas
Baixar imagens de uma lista txt(links) python
Primeiro importei os pacote e criei uma classe e suas definições:
class Scraper:
def __init__(self):
self.visited = set()
self.session = requests.Session()
self.session.headers = {"User-...
0
votos
0respostas
90 visitas
HTTP Error 429: Too Many Requests no Web scraping no repl
Ao executar o código abaixo, encontro:
HTTP Error 429: Too Many Requests o servidor deve ter limite de tempo
entre as requisições.
#Imports necessários do bs4
import bs4
from urllib.request ...
0
votos
1resposta
40 visitas
Como posso substituir esta expressão regular utilizando o Beautiful Soup
Atualmente eu utilizo esta expressão para extrair tudo o que está abaixo da tag <b> até encontrar outra tag <b>:
blocks = re.findall(r'<b>.+?<b>', str(element))
Como eu posso ...
1
voto
2respostas
551 visitas
Como extrair informação da table(html) e passar para uma Dataframe - Utilizando selenium
Estou utilizando o selenium para acessar o site http://www2.bmf.com.br/pages/portal/bmfbovespa/lumis/lum-ajustes-do-pregao-ptBR.asp e manipular a caixa de data e o botão ok. Até o momento consegui ...
0
votos
1resposta
36 visitas
Python BeautifulSoup duvidas
Estou fazendo um requests.post e ele me retorna as seguintes informações:
{"Name":"Joey Triibianni","Vocation":"Knight","Level":"425","World":"Quelibra","Account Status:":"Free Account"}
Já tentei ...
0
votos
0respostas
40 visitas
Webscraping de imagens em comentarios
Estou trabalhando em um web scraper que precisa resgatar comentários em um fórum que permite o upload de imagens. O texto e o autor do comentário consegui obter usando um findAll no Beautiful Soup, ...
1
voto
2respostas
485 visitas
Em requests, como ler corretamente o encoding ISO-8859-1?
Em Python3, com beautifulsoup4 e requests, quero extrair algumas informações de um site que possui encoding 'ISO-8859-1'. Tentei essa estratégia para mostrar corretamente o texto:
import requests
...
2
votos
2respostas
364 visitas
Como fazer coleta de dados em web scrapping no Python?
Dentro desta URL, tem vários links , tenho que pegar os links referentes ao mês de junho de 2017, fazer download deles e criar um dataframe com todos os arquivos em um só.
Porém travei aqui nesta ...
-1
votos
1resposta
63 visitas
Remover tags dentro de tag usando Beautiful Soup
Preciso remover todas as tags span dentro das tags p mantendo seu conteudo.
Codigo html:
<p>Conceito <span>e</span> <span>Signi</span>ficado<span> </span>de ...
-1
votos
1resposta
37 visitas
Beautifulsoup - pesquisa de href por texto
Boa tarde a todos, estou com um problema que ainda não consegui resolver nem encontrei nenhum relacionado.
Se eu tiver:
codigo_pagina = '''<li><span><span style="font-family: Courier ...
-1
votos
1resposta
132 visitas
Como abrir vários HTML's e salvar o conteúdo sequencialmente em um txt
Preciso abrir vários HTML's, obter o texto deles e salvar em um txt de maneira sequencial, mas não sei como fazer isso.
Eu consigo fazer isso com um único HTML, mas preciso fazer isso com vários, e ...
0
votos
3respostas
828 visitas
bs4.FeatureNotFound (Erro no BeaultifullSoup e parser)
Eu preciso extrair todo o texto de um html. Daí resolvi dar uma olhada no BeaultiSoup, pra ver como eu fazia isso com ele. Porém ele começou a mostrar o texto logo no inicio, eis o codigo:
import ...
0
votos
1resposta
147 visitas
Mudar de pagina em um tabela html com beautifulsoup
Estou coletando os dados nesse site, utilizando requests e beautifulsoup. Consegui coletar todos os dados da pagina 1, porem não consigo mudar a pagina.
Codigo Python
variaveis = []
df_list = [...
1
voto
0respostas
40 visitas
Leitura tabela em Python com Beautiful Soup [duplicada]
Estou precisando pegar uma tabela do portal da transparência para depois gravar no banco de dados. Estou usando o Beautiful Soup.
Não consigo trazer no request a parte que tem os dados e por ...
2
votos
1resposta
1mil visitas
Web scraping em página com login e senha
Estou tentando extrair um código fonte de um arquivo html com o seguinte estilo:
<div class="both"></div>
<div class="st-box" id="source-code">
<h3>SOURCE CODE<...
1
voto
1resposta
97 visitas
Text.strip() Python
Estou tentando fazer um código que extraia algumas informações de uma página. O Arquivo possui o seguinte formato:
<tr class="impar">
<td class="id">
<a href="/judge/en/...
2
votos
1resposta
705 visitas
Web scraping com Python (Selenium e Request)
Olá,
Estou tentando realizar um web scraping em uma página protegida por login, já consegui realizar o acesso tanto via Request, quanto via Selenium, o problema se dá após o login.
A página é a ...
0
votos
1resposta
65 visitas
WebScrapping soup + python exportar para txt e verificar com shell script
Saudações pessoas, estou aqui com um código em python que me traz os milissegundos do ping de envio das notas fiscais eletronicas da sefaz no portal de status da NFC-e como abaixo :
#!/usr/bin/env ...
1
voto
2respostas
198 visitas
Web scrapping com python não traz a informação completa da pagina html
Saudações pessoal, estou tentando utilizar python para poder pegar as informações da pagina http://www.nfce.se.gov.br/portal/painelMonitor.jsp , é uma pagina da sefaz onde tem o status de ping dos ...
-1
votos
1resposta
114 visitas
Remover texto do elemento pai mantendo as filhas em BS4 no Python
Como remover o texto indevido mantendo o titulo, paragrafo e link.
Codigo:
<html>
<body>
<header>
<h1>
Titulo
</h1>
</header>
<p>...
1
voto
4respostas
147 visitas
Remover tag de comentário e seu conteúdo em Beautifulsoup 4
Como faço para remover a tag de comentário junto com o conteúdo dela com o bs4 ?
<div class="foo">
A Arara é um animal voador.
<!--
<p>Animais
Nome: Arara
Idade: 12 anos e 9 meses
...
1
voto
1resposta
311 visitas
Raspagem de dados usando Robobrowser
Estou tentando fazer a raspagem de um formulário, para inserir um anexo e enviar, usando o Robobrowser.
Para abrir a página eu faço:
browser.open('url')
Para pegar o formulário eu faço:
form = ...
0
votos
1resposta
27 visitas
Acessar Tag via beautifulsoup
Olá,
Estou com dificuldade em acessar o preço que está na terceira linha do código via beautifulsoup.
Alguém tem alguma ideia de como acessar?
<...
1
voto
1resposta
234 visitas
Beautiful Soup - Remover uma tag mantendo o Texto
Tenho as seguintes tags:
<p>Projeto N <sup>o</sup> 00.000, DE 00 DE JANEIRO DE 0000.</p>
Gostaria de remover a tag mantendo o texto.
Precisava que ficasse assim:
<p>...
0
votos
2respostas
71 visitas
Duvida da Utilização do BeautifulSoup
Meu código abaixo é para pegar o gênero dos filmes do site IMDB, porém eu não estou sabendo pegar a tag em especifico de gêneros do site, pois as vezes em vez dele pegar o gênero ele pega a tag de ...
0
votos
1resposta
271 visitas
Duvida de como raspar dados como Python usando BeautifulSoup <Tabela>
Sou iniciante e estou tentando pegar uma tabela do site do portal da transparência, mais não estou conseguindo vem só a tag sem dado nenhum. Quando abro a ferramenta do desenvolvedor eu visualizo os ...
2
votos
2respostas
664 visitas
Pegar tags dentro de tags no BeautifulSoup
Tenho a seguinte situação:
<a href="https://g1.globo.com">Globo</a>
<h3 class="b">
<a href="https://www.google.com">Google</a>
</h3>
Usando o BeautifulSoup, ...
-1
votos
1resposta
160 visitas
Quero fazer o scraping de uma página, porém não consigo pegar um texto que possui “ ” nele
Bom, o título diz tudo, quero pegar o preço de um produto do site https://www.pontofrio.com.br/, que se encontra assim:
<span class="nm-price-value" itemprop="price">R$ 367,60</span&...
0
votos
1resposta
53 visitas
Não consigo fazer o “web scraping” adequadamente de um site de tirinhas em Python
Bom, estava eu fazendo um código que verificaria o dia de cada tirinha/gif da página e, se o dia for o mesmo que o dia atual(no código eu coloquei 14 somente porque o site não atualiza final de semana ...
0
votos
1resposta
186 visitas
Scraping usando Selenium e Beautifulsoup
Estou tentando fazer um scrap em um blog de livros, preciso pegar os títulos e as categorias de todos os livros postados. Na primeira tentativa, obtive um Attribute Error, o que deve acontecer várias ...
1
voto
0respostas
28 visitas
Multiplos fatores de busca em um arquivo html com parametros variáveis
Bom dia pessoal.
Necessido de buscar pelo nome dos presidentes do brasil, em arquivos html. Criei um json com os nomes dos presidentes para facilitar.
Segue o código:
# !/bin/env python
# coding: ...
3
votos
1resposta
81 visitas
bs4: Como envolver um codigo html incompleto?
Olá, me deparei com códigos html incompletos onde estão faltando as tags "html" e "body".
Segue o código que eu implementei:
import bs4
content='''
<head>
<title>
my page
</title&...
0
votos
1resposta
670 visitas
Requests, BeautifulSoup <Tabelas>
Eu tenho um site que quero extrair dados especifico de uma tabela
quero extrair todas as informações que tiver elemento "PROLONG".
A minha dificuldade e que todas as tabelas tem o mesmo nome na "...