Em Python3, com beautifulsoup4 e requests, quero extrair algumas informações de um site que possui encoding 'ISO-8859-1'. Tentei essa estratégia para mostrar corretamente o texto:
import requests
from bs4 import BeautifulSoup
req = requests.get('https://sisgvarmazenamento.blob.core.windows.net/prd/PublicacaoPortal/Arquivos/201901.htm')
req.encoding
encoding = req.encoding
text = req.content
decoded_text = text.decode(encoding)
sopa = BeautifulSoup(decoded_text, "lxml")
sopa.find("h1")
E o resultado que aparece é:
<h1>
CÃMARA MUNICIPAL DE SÃO PAULO<br/></h1>
Quando copio e colo nesta tela aparece correto, mas no meu computador toda a acentuação está errada
Estou em uma máquina com Ubuntu
Por favor, alguém sabe uma forma correta de ler o encoding?
Editado 2 de junho de 2019
Tive a ajuda de @snakecharmerb aqui
Na resposta ele detalhou que quando o nenhum charset explícito estiver presente nos cabeçalhos HTTP e o cabeçalho Content-Type contiver texto, o o RFC 2616 especifica que o conjunto de caracteres padrão deve ser ISO-8859-1. Que é o caso deste site
Mas claramente as palavras são UTF-8, então corrijo manualmente e funciona Meu código ficou assim e funcionou:
import requests
from bs4 import BeautifulSoup
req = requests.get('https://sisgvarmazenamento.blob.core.windows.net/prd/PublicacaoPortal/Arquivos/201901.htm')
req.encoding
'ISO-8859-1'
req.headers['content-type']
'text/html'
req.encoding = 'UTF-8'
sopa = BeautifulSoup(req.text,'lxml')
sopa.find('h1').text
'\r\n CÂMARA MUNICIPAL DE SÃO PAULO'