16

Se fizermos

# encoding: utf-8

na primeira linha de um programa Python, conseguimos fazer acentos no código todo?

2 Respostas 2

21

Na realidade, tudo depende da configuração do seu editor de texto. A maioria dos editores de texto salva, por padrão, os arquivos na codificação UTF-8 (e, pelo menos para os lusófonos, os editores que não o fazem salvam em ISO-8859-1).

Por que isso importa?

Pra resumir uma história bem complicada, que começou lá na época dos primeiros telégrafos, os códigos de caracteres do alfabeto latino foram padronizados bastante cedo (o ASCII foi padronizado em 1960), mas os caracteres “especiais” — cedilhas, acentos — foram “padronizados” por cada país (ou grupo de países) separadamente. A Europa Ocidental (e, portanto, países lusófonos, hispanófonos, …) convergiram no padrão ISO 8859-1.

O problema é que esse padrão não contém caracteres dos alfabetos grego, cirílico, …, então é impossível ter um documento neste padrão que, por exemplo, misture trechos de português com grego (e a situação fica pior ainda quando você inclui japonês, chinês, …)

A invenção do Unicode

Para unificar essas codificações e permitir textos polílingues (e evitar ambiguidades na hora de trocar textos entre computadores com codificações diferentes), foi inventado o Unicode, cujo objetivo é atribuir códigos distintos a todos os caracteres de todas as línguas do mundo.

Textos Unicode podem ser codificados de várias formas diferentes — internamente, .NET e Java usam UTF-16; Python 3 escolhe entre ASCII, UTF-16 e UTF-32 dependendo dos caracteres que estão no texto que você está processando.

Ainda assim, UTF-8 é a codificação mais popular para arquivos texto (e.g. arquivos-fonte Python)

Por que essa linha é necessária

Dado que um byte só pode ter 256 valores distintos, e o conjunto de todas as línguas do mundo tem mais de 256 caracteres, o UTF-8 precisa usar mais de um byte para representar alguns caracteres. Em geral, caracteres acentuados como na palavra “bênção” são representados em 2 bytes em UTF-8 (ao contrário de só 1 em ISO 8859-1):

             b |    ê   |  n |    ç   |    ã   |  o
ISO 8859-1: 62 |   EA   | 6E |   E7   |   E3   | 6F
     UTF-8: 62 | C3  AA | 6E | C3  A7 | C3  A3 | 6F

Isso é um problema quando você tenta ler um texto escrito em uma codificação como se fosse outra codificação: se o texto foi escrito como UTF-8 mas lido como ISO 8859-1, ele aparece como “bênção”; o contrário aparece como “b�n��o” (ou, no caso do Python, causa um UnicodeDecodeError).

O Python 2, como um caso especial, detecta a presença dessa linha e a usa para detectar o encoding do arquivo. Na ausência dessa linha, o Python entra num modo mais conservador, e só aceita caracteres ASCII (sem acento), lançando um erro se ele encontrar algum caractere “esquisito” (os detalhes desse mecanismo estão descritos na PEP 0263, que propôs a mudança).

Resumo da ópera

Se você quiser usar acentos no seu arquivo Python 2, coloque uma das três linhas a seguir no topo dos seus arquivos:

# encoding: utf-8
# encoding: iso-8859-1
# encoding: win-1252

Em ordem aproximadamente decrescente de probabilidade, esses são os encodings que o seu editor provavelmente usa.

Você também pode migrar para Python 3, onde o código abaixo é perfeitamente legal…

fmoreira@saucer tmp $ cat encoding.py 
π = 3.14159265359
半径 = 2.5
área = π * 半径 ** 2
print('مساحة = {}'.format(área))

fmoreira@saucer tmp $ python3 encoding.py 
مساحة = 19.6349540849375

…mas eu obviamente não recomendo essa técnica.

7
  • Excelente resposta, parabéns.
    – Syzoth
    Commented 5/06/2015 às 2:28
  • 2
    essa resposta está bem legal - mas pulou alguns assuntos essenciais para a questão: em particular muita getne acha que colocar a declaração de "encoding" no começo do arquivo é uma mágica que vai fazer todos os problemas de codificação do programa sumirem.
    – jsbueno
    Commented 5/06/2015 às 12:20
  • 2
    Para ver com mais detalhes a história do Unicode e entender o que é, é imortante ler esse artigo. (o título não é pra tirar onda - ele trata do mínimo que se tem que saber para qualquer programa que use acentuação). local.joelonsoftware.com/wiki/…
    – jsbueno
    Commented 5/06/2015 às 12:21
  • 2
    sobre a resposta -tenho uma ressalva: longe de tentar usar outras codificações até achar uma "compatível com seu editor" como está sugerido na última parte da resposta, é importante sim usar utf-8 e configurar seu editor pra usar utf-8 (e não o contrário)- utf-8 permite caractéres especiais de várias linguas no mesmo arquivo, é o padrão no Mac Os e no Linux (e portanto em quase todos os servidores onde sua aplicação web vai estar e no Android) - só não é o padrão no Windows.
    – jsbueno
    Commented 5/06/2015 às 12:23
  • Eu cogitei colocar isso na resposta, mas eu tentei minimizar o escopo — um programa que só contém caracteres ASCII pode engasgar com Unicode por exemplo. A minha intenção é só lidar com o caso onde, por exemplo, você quer colocar um comentário em português num código que, sem comentários, seria ASCII puro.
    – user25930
    Commented 5/06/2015 às 12:26
11

A linha de declaração de encoding

#encoding: utf-8

permite que o parser do Python possa entender os acentos no código fonte - ou seja, colocar qualquer caractere acentuado deixa de ser um "erro de sintaxe" em Python 2. Outras codificações, usadas por padrão no Windows, são mais limitadas que o utf-8, no sentido de permitirem apenas 256 caracteres distintos - então é importante colocar essa linha e configurar seu editor para usar utf-8.

Mas isso não é o suficiente para usar acentuação à vontade num programa de Python 2.x. Uma mudança grande que foi implementada no meio dos anos 2000, e que muita gente ainda não se deu conta, é que dados de TEXTO no Python 2 têm que ser do tipo "unicode", não do tipo "str". No Python3, o tipo "str" já tem uma representação interna em Unicode.

A maior diferença entre os dois é que para uma string de bytes (a str simples de Python2) um elemento da sequência corresponde a um byte. Quando se fala de texto (tipo unicode) um elemento da sequência corresponde sempre há um caractere.

Faça o seguinte experimento - (pode ser no terminal, se ele estiver configurado para utf-8):

>>> a = "maçã"
>>> for letra in a: print letra,
... 
m a � � � �
>>> a = u"maçã"
>>> for letra in a: print letra,
... 
m a ç ã
>>> 

O que acontece é que a codificação padrão do Windows em português ("latin1") usa semrpe um byte por caractere, e então não se percebe isso - mas você vai ter um problema se tentar passar uma string acentuada para maiúsculas, mesmo com esse tipo de codificação. Por exemplo:

>>> a=  "maçã".upper()
>>> print a
MAçã
>>> a= u"maçã".upper()
>>> print a
MAÇÃ
>>> 

A recomendação é entender bem o que é Unicode e o que são as codificações no artigo http://local.joelonsoftware.com/wiki/O_M%C3%ADnimo_Absoluto_Que_Todos_os_Programadores_de_Software_Precisam,_Absolutamente,_Positivamente_de_Saber_Sobre_Unicode_e_Conjuntos_de_Caracteres_%28Sem_Desculpas!%29 , usar sempre utf-8 nos programas, e - sempre usar a técnica que chamaos de "o sanduiche unicode":

Ao ler texto de alguma fonte externa do seu programa - seja um arquivo, entrada do usuário, banco de dados, sensor, ele vai estar em bytes, e com alguma codificação

  • você decodifica esse texto para unicode (com o método "decode")
  • trabalha com o texto no seu programa em Python
  • codifica de volta no encoding usado pela saída de dados (terminal, arquivo, banco de dados, impressora, etc...) com o método "encode".

Python 3 e algumas das bibliotecas - mesmo as usadas em Python2, já fazem o passo de codificação/decodifciação de forma transparente para você. Mas mesmo assim é vital entender o que está acontecendo.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .