Skip to main content

Respostas interessantes marcadas com a tag

8 votos

Regex não pega todos os textos das tags span

Não use regex para parsing de HTML Já que a pergunta tem a tag beautifulsoup, por que não usar essa biblioteca, que é feita justamente para fazer parsing e manipulação de HTML, em vez de regex? Se o ...
hkotsubo's user avatar
  • 66,9mil
5 votos

Em requests, como ler corretamente o encoding ISO-8859-1?

Na verdade, o requests já faz a decodificação pra você,usando o encoding correto. É só em vez de acessar o atributo .content, acessar o atributo .text do objeto "response": In [382]: import requests ...
jsbueno's user avatar
  • 31,5mil
5 votos
Aceito

Como utilizar o "find" do BeautifulSoup para encontrar uma tag script com tipo específico?

import requests from bs4 import BeautifulSoup as bs def get_cod_produto(url): response = requests.get(url) data = response.text soup = bs(data, 'html.parser') return soup.find('script'...
lmonferrari's user avatar
  • 4.039
3 votos
Aceito

Raspagem de dados usando Robobrowser

Robobrowser é um módulo que combina o requests para baixar as páginas e o BeautifulSoup para parseá-las. O seu problema é que o botão que você quer clicar, provavelmente, na verdade não existe mesmo ...
nosklo's user avatar
  • 5.903
3 votos

Pegar tags dentro de tags no BeautifulSoup

A forma mais fácil é buscar dentro do elemento h3 a tag a: from bs4 import BeautifulSoup code = '''<a href="https://g1.globo.com">Globo</a> <h3 class="b"> <a href="https://...
Igor Gabriel's user avatar
3 votos

Regex não pega todos os textos das tags span

o problema específico desta tag, no exemplo que está aí, é que o conteúdo da célula se estende por mais de uma linha. Você nao colocou seu código Python (é dificil responder a pergunta assim), mas ...
jsbueno's user avatar
  • 31,5mil
3 votos
Aceito

Como extrair texto de um elemento selecionado do BeautifulSoap?

Use o método get_text: import requests, bs4,os url = ('https://valor.globo.com/') res = requests.get(url) objSoup=bs4.BeautifulSoup(res.text,features="html.parser") newsValor = objSoup....
Lucas's user avatar
  • 4.276
3 votos
Aceito

Erro ao imprimir HTML com BeautifulSoup

import requests from bs4 import BeautifulSoup as bs headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko)'} url = "http://quizdomilhao.com.br/...
lmonferrari's user avatar
  • 4.039
3 votos
Aceito

BeautifulSoup: Pegar text dentro de tabela

Kleyton, isso acontece por que a requisição não retorna o HTML completo logo de cara. Vamos seguir com o que você fez no código: import requests from bs4 import BeautifulSoup url = "http://www....
yoyo's user avatar
  • 784
2 votos
Aceito

Requests, BeautifulSoup <Tabelas>

O código deste site é uma bagunça. O que está acontecendo no seu código, é que você está buscando coluna por coluna em todas as linhas da tabela. Pode notar que se você ler diferentes itens da lista ...
Rocchi's user avatar
  • 166
2 votos
Aceito

Pegar tags dentro de tags no BeautifulSoup

Basta buscar a tag h3 e depois buscar o elemento a: from bs4 import BeautifulSoup data = """<a href="https://g1.globo.com">Globo</a> <h3 class="b"> <a href="https://www.google....
Cassio Alves's user avatar
  • 1.058
2 votos
Aceito

Quero fazer o scraping de uma página, porém não consigo pegar um texto que possui "&nbsp" nele

O seu problema é que o preço na verdade não existe na página! As páginas do site do ponto frio, assim como muitas outras na internet, são disponibilizadas sem o preço, e só depois esse preço é ...
nosklo's user avatar
  • 5.903
2 votos
Aceito

Beautiful Soup - Remover uma tag mantendo o Texto

Pode utilizar unwrap(): from bs4 import BeautifulSoup as bs soup = bs('<p>Projeto N <sup>o</sup> 00.000, DE 00 DE JANEIRO DE 0000.</p>') soup.sup.unwrap() # <sup>&...
Renan Gomes's user avatar
  • 19,3mil
2 votos
Aceito

Duvida da Utilização do BeautifulSoup

O problema está no seletor que você está buscando, existem vários <div> com essas três classes juntas em toda a página. O ideal é tentar criar um seletor que seja o mais específico possível do ...
Renan Gomes's user avatar
  • 19,3mil
2 votos
Aceito

Remover tag de comentário e seu conteúdo em Beautifulsoup 4

Encontrei uma solução simplificada baseado na resposta da pergunta How to find all comments with Beautiful Soup Primeiro importa o BeautifulSoup com os métodos necessários. from bs4 import ...
Igor Gabriel's user avatar
2 votos
Aceito

Web scrapping com python não traz a informação completa da pagina html

O código abaixo usa lxml para parsear a página diretamente da URL: import requests, lxml.html resp = requests.get('http://www.nfce.se.gov.br/portal/ConStatusAuto?Origem=1') doc = lxml.html....
nosklo's user avatar
  • 5.903
2 votos

Web scrapping com python não traz a informação completa da pagina html

As informações da página são preenchidas por código em Javascript que é executado depois que a chave é carregada. Esse codigo faz as requisições em tempo real aos vários servidores, e etc... Com ...
jsbueno's user avatar
  • 31,5mil
2 votos

Como fazer coleta de dados em web scrapping no Python?

Resposta atualizada:21/05/19 url = 'https://s3.amazonaws.com/video.udacity-data.com/topher/2018/November/5bf32290_turnstile/turnstile.html' #Este método retorna um objeto Response page = requests....
Sarmento 's user avatar
2 votos

Remover tag de comentário e seu conteúdo em Beautifulsoup 4

Baseado nas respostas da pergunta Beautifulsoup 4: Remove comment tag and its content, você pode utilizar o método extract para remover um item da árvore. Para saber se o item é um comentário, basta ...
Woss's user avatar
  • 77,2mil
2 votos
Aceito

bs4.FeatureNotFound (Erro no BeaultifullSoup e parser)

Você solicitou o uso do lxml, lendo a mensagem de erro ele informa: Couldn't find a tree builder with the features you requested: lxml. Traduzindo: Não pode encontrar um construtor de estrutura/...
Syzoth's user avatar
  • 100mil
2 votos
Aceito

Python Beautifulsoup remover tag dentro de tag

Regex pode ser um caminho: from bs4 import BeautifulSoup import requests import re url0 = 'https://www.service.bund.de/Content/DE/Ausschreibungen/Suche/Formular.html?nn=4641482&...
avqpereira's user avatar
2 votos

Por que a resposta de request HTTP não reconhece caracteres especiais?

Resumindo, é um problema de encoding (se quer entender a fundo o que é um encoding, leia aqui). Mas basicamente, toda a informação trafegada vai e vem na forma de bytes, que são transformados em texto ...
hkotsubo's user avatar
  • 66,9mil
2 votos

Retornar elemento contido em tag no BeautifulSoup

Caso seu objetivo seja extrair o conteúdo textual de um documento ou conteúdo textual sob uma tag, você pode usar o método get_text() que retorna todo o conteúdo textual do documento ou sob uma tag: ...
Augusto Vasques's user avatar
  • 18,8mil
2 votos
Aceito

Como ler <br/> em arquivos HTML e imprimir como quebra de linha?

Como text retorna o texto sem as tags, o <br> também é removido. Então o jeito seria substituir as tags <br> antes de obter o text: # obtém a tag (e não o text) example = soup.find("...
hkotsubo's user avatar
  • 66,9mil
2 votos
Aceito

Scraping de tabela na wikipedia com Python

Antes de fazer uma raspagem primeiro verifique se o site alvo dessa raspagem oferece uma API provendo acesso direto ao banco da dados do site. import pandas as pd import urllib.request, urllib.parse, ...
Augusto Vasques's user avatar
  • 18,8mil
1 voto

Web scraping em página com login e senha

Primeiramente, você inseriu um espaço depois de pre: [...].find("pre ", {"id": "code"}).text Corrigindo o código e removendo esse espaço, conforme abaixo o erro deveria ser sanado: def getCode(...
Rafael Barros's user avatar
1 voto
Aceito

WebScrapping soup + python exportar para txt e verificar com shell script

Primeiro pra pegar o primeiro ping só do Virtual RS, basta fazer um if for tr in doc.xpath('//tr'): nome = tr[0].text_content().strip() if nome == 'SEFAZ Virtual RS': valor_ping = tr[...
nosklo's user avatar
  • 5.903
1 voto

Como extrair informação da table(html) e passar para uma Dataframe - Utilizando selenium

Um pouco atrasado, mas talvez a resposta interesse mais alguém. O problema é que a linha "Mercadoria" só está definida no html na primeira linha de cada mercadoria. Fora da primeira linha, o ...
Lucas's user avatar
  • 4.276
1 voto

Como extrair informação da table(html) e passar para uma Dataframe - Utilizando selenium

Opa! O pandas tem o método read_html (pandas.read_html)! Se você conseguir atribuir o conteúdo html da página a alguma variável, você só precisaria passar essa variável como parâmetro para o método ...
fabiogdy's user avatar
1 voto
Aceito

Python BeautifulSoup duvidas

A URL que está requisitando retorna um JSON. A biblioteca BeatifulSoup serve para analisar documentos XML (e, por consequência, HTML). Ou seja, não precisa utilizá-la. A própria biblioteca Requests ...
Woss's user avatar
  • 77,2mil

Only top scored, non community-wiki answers of a minimum length are eligible