1

Em Python3, com beautifulsoup4 e requests, quero extrair algumas informações de um site que possui encoding 'ISO-8859-1'. Tentei essa estratégia para mostrar corretamente o texto:

import requests
from bs4 import BeautifulSoup

req = requests.get('https://sisgvarmazenamento.blob.core.windows.net/prd/PublicacaoPortal/Arquivos/201901.htm')
req.encoding

encoding = req.encoding
text = req.content

decoded_text = text.decode(encoding)

sopa = BeautifulSoup(decoded_text, "lxml")

sopa.find("h1")

E o resultado que aparece é:

<h1>
                        CÃMARA MUNICIPAL DE SÃO PAULO<br/></h1>

Quando copio e colo nesta tela aparece correto, mas no meu computador toda a acentuação está errada

Estou em uma máquina com Ubuntu

Por favor, alguém sabe uma forma correta de ler o encoding?


Editado 2 de junho de 2019

Tive a ajuda de @snakecharmerb aqui

Na resposta ele detalhou que quando o nenhum charset explícito estiver presente nos cabeçalhos HTTP e o cabeçalho Content-Type contiver texto, o o RFC 2616 especifica que o conjunto de caracteres padrão deve ser ISO-8859-1. Que é o caso deste site

Mas claramente as palavras são UTF-8, então corrijo manualmente e funciona Meu código ficou assim e funcionou:

import requests
from bs4 import BeautifulSoup

req = requests.get('https://sisgvarmazenamento.blob.core.windows.net/prd/PublicacaoPortal/Arquivos/201901.htm')
req.encoding

'ISO-8859-1'

req.headers['content-type']
'text/html'

req.encoding = 'UTF-8'

sopa = BeautifulSoup(req.text,'lxml')

sopa.find('h1').text
'\r\n                        CÂMARA MUNICIPAL DE SÃO PAULO'

2 Respostas 2

5

Na verdade, o requests já faz a decodificação pra você,usando o encoding correto.

É só em vez de acessar o atributo .content, acessar o atributo .text do objeto "response":

In [382]: import requests                                                                                              

In [383]: data = requests.get("https://slashdot.org")                                                                  

In [384]: type(data.content)                                                                                           
Out[384]: bytes

In [385]: type(data.text)                                                                                              
Out[385]: str

Mas entender de encodnig e não ficar chutando o que acontece é meio vital nessa indústria. Eu não canso de recomendar o seguinte artigo, escrito originalmente em 2003 pelo criador do StackOverflow:

O Mínimo Absoluto Que Todos os Programadores de Software Precisam, Absolutamente, Positivamente de Saber Sobre Unicode e Conjuntos de Caracteres (Sem Desculpas!)

9
  • Obrigado @jsbueno. Eu fiz a requisição -> req = requests.get('sisgvarmazenamento.blob.core.windows.net/prd/PublicacaoPortal/…) 31/05/2019 às 17:39
  • Depois o beautifulsoup com text -> sopa = BeautifulSoup(req.text, "lxml") 31/05/2019 às 17:39
  • Mas o resultado ficou com erro na tela na acentuação, o mesmo -> sopa.find("h1") - CÃMARA MUNICIPAL DE SÃO PAULO 31/05/2019 às 17:40
  • Apesar de quando copio aqui o erro não aparece. É isso que apontei acima 31/05/2019 às 17:40
  • você está usando Python 2? por que em Python 3, ele deveria cuidar da codificação do terminal automaticamente pra você. Se for Python 2 você tem dois problemas - o do encoding, e o problema de estar usando Python 2.
    – jsbueno
    31/05/2019 às 22:37
0

Se você se refere em exibir no terminal ou prompt de comando do windows então para resolver você deve setar no script python o charset, assim:

# -*- coding: latin-1 -*-

import requests
from bs4 import BeautifulSoup

...

Se a página estiver em iso-8859-1 ou windows-1252, se estiver em utf-8 use assim:

# -*- coding: utf-8 -*-

import requests
from bs4 import BeautifulSoup

...

Me parece que a página que linkou esta em utf-16, então creio que seria assim:

# -*- coding: utf-16 -*-

import requests
from bs4 import BeautifulSoup

...
3
  • 1
    Na verdade isso está 100% incorreto. A indicação do charset no código fonte serve para os caractéres acentuados no próprio arquivo .py, não para dados lidos de uma fonte externa, como um arquivo, ou, nesse caso, uma requisição HTTP.
    – jsbueno
    31/05/2019 às 17:21
  • @jsbueno mas eu não disse que o problema era no HTTP, falei exatamente outra coisa, é o requests quem baixa os dados e o BeautifulSoup quem decodifica e provavlemente já resolve isto, o problema é que o site esta vindo em utf-16 (foi o que me pareceu) e o script esta em outra. Tudo bem até parte da resposta pode estar errada, mas com certeza o que vc afirmou no comentário não foi o que eu disse, e vou revisar a resposta aqui.
    – Syzoth
    31/05/2019 às 19:58
  • 1
    100% incorreto , e talvez mais, já que você insiste no erro. essa marcação é só para o compilador do Python, na hora de ler o arquivo.py e gerar o bytecode. Não interfere em como strings são mostradas em qualquer terminal . isso só mudaria o aspecto de uma string digitada direto no código.
    – jsbueno
    31/05/2019 às 22:35

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .