1

Por que quando eu faço um request usando BeautifulSoup em Python, a minha resposta não considera caracteres latinos?

Código:

import requests 
from bs4 import BeautifulSoup
req = requests.post(url= f"https://www.linkcorreios.com.br/?id=LE132696585SE")
soup = BeautifulSoup(req.text,'html.parser')
texto = soup.find('ul', {'class': 'linha_status m-0'}).text
print(req)
print(texto)

Resposta:

<Response [200]>
Status: Objeto em trânsito - por favor aguarde
Data  : 29/04/2021 | Hora: 10:29
Origem: Unidade de Logística Integrada - Curitiba / PR
Destino: Unidade de Tratamento - Cajamar / SP

Estou usando o VSCode com Python 3.9.4

1 Resposta 1

2

Resumindo, é um problema de encoding (se quer entender a fundo o que é um encoding, leia aqui).

Mas basicamente, toda a informação trafegada vai e vem na forma de bytes, que são transformados em texto e vice-versa. E existem várias formas de converter bytes de/para texto (vários encodings diferentes), e esse tipo de problema acontece ao tentar usar um encoding quando na verdade foi usado outro (por exemplo, se a resposta foi convertida para bytes usando um encoding, mas você tenta converter esses bytes para texto usando outro encoding).

Na documentação do módulo requests podemos ver aqui o seguinte:

When you make a request, Requests makes educated guesses about the encoding of the response based on the HTTP headers.

E aqui:

When you receive a response, Requests makes a guess at the encoding to use for decoding the response when you access the Response.text attribute.

Ou seja, ao ser feita uma requisição, o requests tenta adivinhar o encoding da resposta, baseado nos headers HTTP. Então ao acessar o atributo text da resposta, será usado esse encoding para converter os bytes em texto. Mas o mesmo link acima ainda afirma:

The only time Requests will not do this is if no explicit charset is present in the HTTP headers and the Content-Type header contains text. In this situation, RFC 2616 specifies that the default charset must be ISO-8859-1.

Ou seja, se não houver um charset especificado nos headers HTTP, e o Content-Type contém text, o encoding será setado para ISO-8859-1. Podemos ver que esse é exatamente o caso, imprimindo os headers da resposta:

response = requests.post('https://www.linkcorreios.com.br/?id=LE132696585SE')
print(response.headers)

A saída foi:

{'Date': 'Wed, 23 Jun 2021 11:55:38 GMT', 'Server': 'Apache/2.4.7 (Ubuntu)', 'X-Powered-By': 'PHP/5.5.9-1ubuntu4.21', 'Vary': 'Accept-Encoding', 'Content-Encoding': 'gzip', 'Content-Length': '5090', 'Keep-Alive': 'timeout=5, max=100', 'Connection': 'Keep-Alive', 'Content-Type': 'text/html'}

Podemos ver que o Content-Type é text/html (ou seja, contém text) e não há um charset explícito em nenhum dos headers. Por isso o encoding usado será ISO-8859-1, o que pode ser confirmado assim:

response = requests.post('https://www.linkcorreios.com.br/?id=LE132696585SE')
print(response.encoding) # ISO-8859-1

Portanto, ao tentar acessar o atributo text, os bytes foram convertidos para texto usando-se o encoding ISO-8859-1.

Mas como vimos, a página não está em ISO-8859-1, senão os acentos seriam mostrados corretamente.


A solução é simples: em vez de passar o text da resposta, passe o content:

import requests
from bs4 import BeautifulSoup

response = requests.post('https://www.linkcorreios.com.br/?id=LE132696585SE')

# *** Em vez de response.text, use response.content ***
soup = BeautifulSoup(response.content, 'html.parser')
#                             ^^^^^^^

texto = soup.find('ul', {'class': 'linha_status m-0'}).get_text()
print(response)
print(texto)

Assim, o Beautiful Soup lerá os "bytes brutos" (em vez de um texto que foi decodificado usando o encoding errado), e ele saberá lidar com isso, convertendo esses bytes em texto (mais detalhes aqui). Com isso, os acentos serão mostrados corretamente.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .