Se fizermos
# encoding: utf-8
na primeira linha de um programa Python, conseguimos fazer acentos no código todo?
Na realidade, tudo depende da configuração do seu editor de texto. A maioria dos editores de texto salva, por padrão, os arquivos na codificação UTF-8 (e, pelo menos para os lusófonos, os editores que não o fazem salvam em ISO-8859-1).
Pra resumir uma história bem complicada, que começou lá na época dos primeiros telégrafos, os códigos de caracteres do alfabeto latino foram padronizados bastante cedo (o ASCII foi padronizado em 1960), mas os caracteres “especiais” — cedilhas, acentos — foram “padronizados” por cada país (ou grupo de países) separadamente. A Europa Ocidental (e, portanto, países lusófonos, hispanófonos, …) convergiram no padrão ISO 8859-1.
O problema é que esse padrão não contém caracteres dos alfabetos grego, cirílico, …, então é impossível ter um documento neste padrão que, por exemplo, misture trechos de português com grego (e a situação fica pior ainda quando você inclui japonês, chinês, …)
Para unificar essas codificações e permitir textos polílingues (e evitar ambiguidades na hora de trocar textos entre computadores com codificações diferentes), foi inventado o Unicode, cujo objetivo é atribuir códigos distintos a todos os caracteres de todas as línguas do mundo.
Textos Unicode podem ser codificados de várias formas diferentes — internamente, .NET e Java usam UTF-16; Python 3 escolhe entre ASCII, UTF-16 e UTF-32 dependendo dos caracteres que estão no texto que você está processando.
Ainda assim, UTF-8 é a codificação mais popular para arquivos texto (e.g. arquivos-fonte Python)
Dado que um byte só pode ter 256 valores distintos, e o conjunto de todas as línguas do mundo tem mais de 256 caracteres, o UTF-8 precisa usar mais de um byte para representar alguns caracteres. Em geral, caracteres acentuados como na palavra “bênção” são representados em 2 bytes em UTF-8 (ao contrário de só 1 em ISO 8859-1):
b | ê | n | ç | ã | o
ISO 8859-1: 62 | EA | 6E | E7 | E3 | 6F
UTF-8: 62 | C3 AA | 6E | C3 A7 | C3 A3 | 6F
Isso é um problema quando você tenta ler um texto escrito em uma codificação como se fosse outra codificação: se o texto foi escrito como UTF-8 mas lido como ISO 8859-1, ele aparece como “bênção”; o contrário aparece como “b�n��o” (ou, no caso do Python, causa um UnicodeDecodeError
).
O Python 2, como um caso especial, detecta a presença dessa linha e a usa para detectar o encoding do arquivo. Na ausência dessa linha, o Python entra num modo mais conservador, e só aceita caracteres ASCII (sem acento), lançando um erro se ele encontrar algum caractere “esquisito” (os detalhes desse mecanismo estão descritos na PEP 0263, que propôs a mudança).
Se você quiser usar acentos no seu arquivo Python 2, coloque uma das três linhas a seguir no topo dos seus arquivos:
# encoding: utf-8
# encoding: iso-8859-1
# encoding: win-1252
Em ordem aproximadamente decrescente de probabilidade, esses são os encodings que o seu editor provavelmente usa.
Você também pode migrar para Python 3, onde o código abaixo é perfeitamente legal…
fmoreira@saucer tmp $ cat encoding.py
π = 3.14159265359
半径 = 2.5
área = π * 半径 ** 2
print('مساحة = {}'.format(área))
fmoreira@saucer tmp $ python3 encoding.py
مساحة = 19.6349540849375
…mas eu obviamente não recomendo essa técnica.
A linha de declaração de encoding
#encoding: utf-8
permite que o parser do Python possa entender os acentos no código fonte - ou seja, colocar qualquer caractere acentuado deixa de ser um "erro de sintaxe" em Python 2. Outras codificações, usadas por padrão no Windows, são mais limitadas que o utf-8, no sentido de permitirem apenas 256 caracteres distintos - então é importante colocar essa linha e configurar seu editor para usar utf-8.
Mas isso não é o suficiente para usar acentuação à vontade num programa de Python 2.x. Uma mudança grande que foi implementada no meio dos anos 2000, e que muita gente ainda não se deu conta, é que dados de TEXTO no Python 2 têm que ser do tipo "unicode", não do tipo "str". No Python3, o tipo "str" já tem uma representação interna em Unicode.
A maior diferença entre os dois é que para uma string de bytes (a str simples de Python2) um elemento da sequência corresponde a um byte. Quando se fala de texto (tipo unicode) um elemento da sequência corresponde sempre há um caractere.
Faça o seguinte experimento - (pode ser no terminal, se ele estiver configurado para utf-8):
>>> a = "maçã"
>>> for letra in a: print letra,
...
m a � � � �
>>> a = u"maçã"
>>> for letra in a: print letra,
...
m a ç ã
>>>
O que acontece é que a codificação padrão do Windows em português ("latin1") usa semrpe um byte por caractere, e então não se percebe isso - mas você vai ter um problema se tentar passar uma string acentuada para maiúsculas, mesmo com esse tipo de codificação. Por exemplo:
>>> a= "maçã".upper()
>>> print a
MAçã
>>> a= u"maçã".upper()
>>> print a
MAÇÃ
>>>
A recomendação é entender bem o que é Unicode e o que são as codificações no artigo http://local.joelonsoftware.com/wiki/O_M%C3%ADnimo_Absoluto_Que_Todos_os_Programadores_de_Software_Precisam,_Absolutamente,_Positivamente_de_Saber_Sobre_Unicode_e_Conjuntos_de_Caracteres_%28Sem_Desculpas!%29 , usar sempre utf-8 nos programas, e - sempre usar a técnica que chamaos de "o sanduiche unicode":
Ao ler texto de alguma fonte externa do seu programa - seja um arquivo, entrada do usuário, banco de dados, sensor, ele vai estar em bytes, e com alguma codificação
Python 3 e algumas das bibliotecas - mesmo as usadas em Python2, já fazem o passo de codificação/decodifciação de forma transparente para você. Mas mesmo assim é vital entender o que está acontecendo.