8
votos
Regex não pega todos os textos das tags span
Não use regex para parsing de HTML
Já que a pergunta tem a tag beautifulsoup, por que não usar essa biblioteca, que é feita justamente para fazer parsing e manipulação de HTML, em vez de regex?
Se o ...
5
votos
Em requests, como ler corretamente o encoding ISO-8859-1?
Na verdade, o requests já faz a decodificação pra você,usando o encoding correto.
É só em vez de acessar o atributo .content, acessar o atributo .text do objeto "response":
In [382]: import requests ...
5
votos
Aceito
Como utilizar o "find" do BeautifulSoup para encontrar uma tag script com tipo específico?
import requests
from bs4 import BeautifulSoup as bs
def get_cod_produto(url):
response = requests.get(url)
data = response.text
soup = bs(data, 'html.parser')
return soup.find('script'...
3
votos
Aceito
Raspagem de dados usando Robobrowser
Robobrowser é um módulo que combina o requests para baixar as páginas e o BeautifulSoup para parseá-las.
O seu problema é que o botão que você quer clicar, provavelmente, na verdade não existe mesmo ...
3
votos
Pegar tags dentro de tags no BeautifulSoup
A forma mais fácil é buscar dentro do elemento h3 a tag a:
from bs4 import BeautifulSoup
code = '''<a href="https://g1.globo.com">Globo</a>
<h3 class="b">
<a href="https://...
3
votos
Regex não pega todos os textos das tags span
o problema específico desta tag, no exemplo que está aí, é que o conteúdo da célula se estende por mais de uma linha. Você nao colocou seu código Python (é dificil responder a pergunta assim), mas ...
3
votos
Aceito
Como extrair texto de um elemento selecionado do BeautifulSoap?
Use o método get_text:
import requests, bs4,os
url = ('https://valor.globo.com/')
res = requests.get(url)
objSoup=bs4.BeautifulSoup(res.text,features="html.parser")
newsValor = objSoup....
3
votos
Aceito
Erro ao imprimir HTML com BeautifulSoup
import requests
from bs4 import BeautifulSoup as bs
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)'}
url = "http://quizdomilhao.com.br/...
3
votos
Aceito
BeautifulSoup: Pegar text dentro de tabela
Kleyton, isso acontece por que a requisição não retorna o HTML completo logo de cara. Vamos seguir com o que você fez no código:
import requests
from bs4 import BeautifulSoup
url = "http://www....
2
votos
Aceito
Requests, BeautifulSoup <Tabelas>
O código deste site é uma bagunça. O que está acontecendo no seu código, é que você está buscando coluna por coluna em todas as linhas da tabela. Pode notar que se você ler diferentes itens da lista ...
2
votos
Aceito
Pegar tags dentro de tags no BeautifulSoup
Basta buscar a tag h3 e depois buscar o elemento a:
from bs4 import BeautifulSoup
data = """<a href="https://g1.globo.com">Globo</a>
<h3 class="b">
<a href="https://www.google....
2
votos
Aceito
Quero fazer o scraping de uma página, porém não consigo pegar um texto que possui " " nele
O seu problema é que o preço na verdade não existe na página! As páginas do site do ponto frio, assim como muitas outras na internet, são disponibilizadas sem o preço, e só depois esse preço é ...
2
votos
Aceito
Beautiful Soup - Remover uma tag mantendo o Texto
Pode utilizar unwrap():
from bs4 import BeautifulSoup as bs
soup = bs('<p>Projeto N <sup>o</sup> 00.000, DE 00 DE JANEIRO DE 0000.</p>')
soup.sup.unwrap() # <sup>&...
2
votos
Aceito
Duvida da Utilização do BeautifulSoup
O problema está no seletor que você está buscando, existem vários <div> com essas três classes juntas em toda a página. O ideal é tentar criar um seletor que seja o mais específico possível do ...
2
votos
Aceito
Remover tag de comentário e seu conteúdo em Beautifulsoup 4
Encontrei uma solução simplificada baseado na resposta da pergunta How to find all comments with Beautiful Soup
Primeiro importa o BeautifulSoup com os métodos necessários.
from bs4 import ...
2
votos
Aceito
Web scrapping com python não traz a informação completa da pagina html
O código abaixo usa lxml para parsear a página diretamente da URL:
import requests, lxml.html
resp = requests.get('http://www.nfce.se.gov.br/portal/ConStatusAuto?Origem=1')
doc = lxml.html....
2
votos
Web scrapping com python não traz a informação completa da pagina html
As informações da página são preenchidas por código em Javascript que é executado depois que a chave é carregada. Esse codigo faz as requisições em tempo real aos vários servidores, e etc...
Com ...
2
votos
Como fazer coleta de dados em web scrapping no Python?
Resposta atualizada:21/05/19
url = 'https://s3.amazonaws.com/video.udacity-data.com/topher/2018/November/5bf32290_turnstile/turnstile.html'
#Este método retorna um objeto Response
page = requests....
2
votos
Remover tag de comentário e seu conteúdo em Beautifulsoup 4
Baseado nas respostas da pergunta Beautifulsoup 4: Remove comment tag and its content, você pode utilizar o método extract para remover um item da árvore. Para saber se o item é um comentário, basta ...
2
votos
Aceito
bs4.FeatureNotFound (Erro no BeaultifullSoup e parser)
Você solicitou o uso do lxml, lendo a mensagem de erro ele informa:
Couldn't find a tree builder with the features you requested: lxml.
Traduzindo:
Não pode encontrar um construtor de estrutura/...
2
votos
Aceito
Python Beautifulsoup remover tag dentro de tag
Regex pode ser um caminho:
from bs4 import BeautifulSoup
import requests
import re
url0 = 'https://www.service.bund.de/Content/DE/Ausschreibungen/Suche/Formular.html?nn=4641482&...
2
votos
Por que a resposta de request HTTP não reconhece caracteres especiais?
Resumindo, é um problema de encoding (se quer entender a fundo o que é um encoding, leia aqui).
Mas basicamente, toda a informação trafegada vai e vem na forma de bytes, que são transformados em texto ...
2
votos
Retornar elemento contido em tag no BeautifulSoup
Caso seu objetivo seja extrair o conteúdo textual de um documento ou conteúdo textual sob uma tag, você pode usar o método get_text() que retorna todo o conteúdo textual do documento ou sob uma tag:
...
2
votos
Aceito
Como ler <br/> em arquivos HTML e imprimir como quebra de linha?
Como text retorna o texto sem as tags, o <br> também é removido.
Então o jeito seria substituir as tags <br> antes de obter o text:
# obtém a tag (e não o text)
example = soup.find("...
2
votos
Aceito
Scraping de tabela na wikipedia com Python
Antes de fazer uma raspagem primeiro verifique se o site alvo dessa raspagem oferece uma API provendo acesso direto ao banco da dados do site.
import pandas as pd
import urllib.request, urllib.parse, ...
1
voto
Web scraping em página com login e senha
Primeiramente, você inseriu um espaço depois de pre:
[...].find("pre ", {"id": "code"}).text
Corrigindo o código e removendo esse espaço, conforme abaixo o erro deveria ser sanado:
def getCode(...
1
voto
Aceito
WebScrapping soup + python exportar para txt e verificar com shell script
Primeiro pra pegar o primeiro ping só do Virtual RS, basta fazer um if
for tr in doc.xpath('//tr'):
nome = tr[0].text_content().strip()
if nome == 'SEFAZ Virtual RS':
valor_ping = tr[...
1
voto
Como extrair informação da table(html) e passar para uma Dataframe - Utilizando selenium
Um pouco atrasado, mas talvez a resposta interesse mais alguém.
O problema é que a linha "Mercadoria" só está definida no html na primeira linha de cada mercadoria. Fora da primeira linha, o ...
1
voto
Como extrair informação da table(html) e passar para uma Dataframe - Utilizando selenium
Opa!
O pandas tem o método read_html (pandas.read_html)! Se você conseguir atribuir o conteúdo html da página a alguma variável, você só precisaria passar essa variável como parâmetro para o método ...
1
voto
Aceito
Python BeautifulSoup duvidas
A URL que está requisitando retorna um JSON. A biblioteca BeatifulSoup serve para analisar documentos XML (e, por consequência, HTML). Ou seja, não precisa utilizá-la.
A própria biblioteca Requests ...
Only top scored, non community-wiki answers of a minimum length are eligible
Tags relacionadas
beautifulsoup × 58python × 47
python-3.x × 23
web-scraping × 19
html × 9
selenium-webdriver × 4
python-requests × 4
pandas × 2
table × 2
shell × 2
regex × 1
python-2.7 × 1
codificação-de-caracteres × 1
request × 1
web-crawler × 1
urllib × 1