Skip to main content
“radius of a circle” != “radius bone”
Fonte Link
user25930
user25930
fmoreira@saucer tmp $ cat encoding.py 
π = 3.14159265359
橈骨半径 = 2.5
área = π * 橈骨半径 ** 2
print('مساحة = {}'.format(área))

fmoreira@saucer tmp $ python3 encoding.py 
مساحة = 19.6349540849375
fmoreira@saucer tmp $ cat encoding.py 
π = 3.14159265359
橈骨 = 2.5
área = π * 橈骨 ** 2
print('مساحة = {}'.format(área))

fmoreira@saucer tmp $ python3 encoding.py 
مساحة = 19.6349540849375
fmoreira@saucer tmp $ cat encoding.py 
π = 3.14159265359
半径 = 2.5
área = π * 半径 ** 2
print('مساحة = {}'.format(área))

fmoreira@saucer tmp $ python3 encoding.py 
مساحة = 19.6349540849375
Fonte Link
user25930
user25930

Na realidade, tudo depende da configuração do seu editor de texto. A maioria dos editores de texto salva, por padrão, os arquivos na codificação UTF-8 (e, pelo menos para os lusófonos, os editores que não o fazem salvam em ISO-8859-1).

Por que isso importa?

Pra resumir uma história bem complicada, que começou lá na época dos primeiros telégrafos, os códigos de caracteres do alfabeto latino foram padronizados bastante cedo (o ASCII foi padronizado em 1960), mas os caracteres “especiais” — cedilhas, acentos — foram “padronizados” por cada país (ou grupo de países) separadamente. A Europa Ocidental (e, portanto, países lusófonos, hispanófonos, …) convergiram no padrão ISO 8859-1.

O problema é que esse padrão não contém caracteres dos alfabetos grego, cirílico, …, então é impossível ter um documento neste padrão que, por exemplo, misture trechos de português com grego (e a situação fica pior ainda quando você inclui japonês, chinês, …)

A invenção do Unicode

Para unificar essas codificações e permitir textos polílingues (e evitar ambiguidades na hora de trocar textos entre computadores com codificações diferentes), foi inventado o Unicode, cujo objetivo é atribuir códigos distintos a todos os caracteres de todas as línguas do mundo.

Textos Unicode podem ser codificados de várias formas diferentes — internamente, .NET e Java usam UTF-16; Python 3 escolhe entre ASCII, UTF-16 e UTF-32 dependendo dos caracteres que estão no texto que você está processando.

Ainda assim, UTF-8 é a codificação mais popular para arquivos texto (e.g. arquivos-fonte Python)

Por que essa linha é necessária

Dado que um byte só pode ter 256 valores distintos, e o conjunto de todas as línguas do mundo tem mais de 256 caracteres, o UTF-8 precisa usar mais de um byte para representar alguns caracteres. Em geral, caracteres acentuados como na palavra “bênção” são representados em 2 bytes em UTF-8 (ao contrário de só 1 em ISO 8859-1):

             b |    ê   |  n |    ç   |    ã   |  o
ISO 8859-1: 62 |   EA   | 6E |   E7   |   E3   | 6F
     UTF-8: 62 | C3  AA | 6E | C3  A7 | C3  A3 | 6F

Isso é um problema quando você tenta ler um texto escrito em uma codificação como se fosse outra codificação: se o texto foi escrito como UTF-8 mas lido como ISO 8859-1, ele aparece como “bênção”; o contrário aparece como “b�n��o” (ou, no caso do Python, causa um UnicodeDecodeError).

O Python 2, como um caso especial, detecta a presença dessa linha e a usa para detectar o encoding do arquivo. Na ausência dessa linha, o Python entra num modo mais conservador, e só aceita caracteres ASCII (sem acento), lançando um erro se ele encontrar algum caractere “esquisito” (os detalhes desse mecanismo estão descritos na PEP 0263, que propôs a mudança).

Resumo da ópera

Se você quiser usar acentos no seu arquivo Python 2, coloque uma das três linhas a seguir no topo dos seus arquivos:

# encoding: utf-8
# encoding: iso-8859-1
# encoding: win-1252

Em ordem aproximadamente decrescente de probabilidade, esses são os encodings que o seu editor provavelmente usa.

Você também pode migrar para Python 3, onde o código abaixo é perfeitamente legal…

fmoreira@saucer tmp $ cat encoding.py 
π = 3.14159265359
橈骨 = 2.5
área = π * 橈骨 ** 2
print('مساحة = {}'.format(área))

fmoreira@saucer tmp $ python3 encoding.py 
مساحة = 19.6349540849375

…mas eu obviamente não recomendo essa técnica.