Resumindo, é um problema de encoding (se quer entender a fundo o que é um encoding, leia aqui).
Mas basicamente, toda a informação trafegada vai e vem na forma de bytes, que são transformados em texto e vice-versa. E existem várias formas de converter bytes de/para texto (vários encodings diferentes), e esse tipo de problema acontece ao tentar usar um encoding quando na verdade foi usado outro (por exemplo, se a resposta foi convertida para bytes usando um encoding, mas você tenta converter esses bytes para texto usando outro encoding).
Na documentação do módulo requests
podemos ver aqui o seguinte:
When you make a request, Requests makes educated guesses about the encoding of the response based on the HTTP headers.
E aqui:
When you receive a response, Requests makes a guess at the encoding to use for decoding the response when you access the Response.text
attribute.
Ou seja, ao ser feita uma requisição, o requests
tenta adivinhar o encoding da resposta, baseado nos headers HTTP. Então ao acessar o atributo text
da resposta, será usado esse encoding para converter os bytes em texto. Mas o mesmo link acima ainda afirma:
The only time Requests will not do this is if no explicit charset is present in the HTTP headers and the Content-Type header contains text. In this situation, RFC 2616 specifies that the default charset must be ISO-8859-1.
Ou seja, se não houver um charset especificado nos headers HTTP, e o Content-Type
contém text
, o encoding será setado para ISO-8859-1. Podemos ver que esse é exatamente o caso, imprimindo os headers da resposta:
response = requests.post('https://www.linkcorreios.com.br/?id=LE132696585SE')
print(response.headers)
A saída foi:
{'Date': 'Wed, 23 Jun 2021 11:55:38 GMT', 'Server': 'Apache/2.4.7 (Ubuntu)', 'X-Powered-By': 'PHP/5.5.9-1ubuntu4.21', 'Vary': 'Accept-Encoding', 'Content-Encoding': 'gzip', 'Content-Length': '5090', 'Keep-Alive': 'timeout=5, max=100', 'Connection': 'Keep-Alive', 'Content-Type': 'text/html'}
Podemos ver que o Content-Type
é text/html
(ou seja, contém text
) e não há um charset explícito em nenhum dos headers. Por isso o encoding usado será ISO-8859-1, o que pode ser confirmado assim:
response = requests.post('https://www.linkcorreios.com.br/?id=LE132696585SE')
print(response.encoding) # ISO-8859-1
Portanto, ao tentar acessar o atributo text
, os bytes foram convertidos para texto usando-se o encoding ISO-8859-1.
Mas como vimos, a página não está em ISO-8859-1, senão os acentos seriam mostrados corretamente.
A solução é simples: em vez de passar o text
da resposta, passe o content
:
import requests
from bs4 import BeautifulSoup
response = requests.post('https://www.linkcorreios.com.br/?id=LE132696585SE')
# *** Em vez de response.text, use response.content ***
soup = BeautifulSoup(response.content, 'html.parser')
# ^^^^^^^
texto = soup.find('ul', {'class': 'linha_status m-0'}).get_text()
print(response)
print(texto)
Assim, o Beautiful Soup lerá os "bytes brutos" (em vez de um texto que foi decodificado usando o encoding errado), e ele saberá lidar com isso, convertendo esses bytes em texto (mais detalhes aqui). Com isso, os acentos serão mostrados corretamente.