24

Se a codificação UTF-8 pode representar todos os caracteres do Unicode, por que ainda existem aplicações que adotam outros padrões de codificação, como ANSI?

Não seria mais fácil abandonar todas as que não oferecem essa compatibilidade e geralmente se tornam um empecilho para programadores, como no caso dos acentos?

8
  • 1
    Eu opto por usar Win 1252 em alguns dos meus softwares, sem ter nenhum problema de acentuação, inclusive em alguns que interagem com UTF-8 e 16. Economizo uma série de problemas evitando normalização desnecessária, e sei exatamente quanto preciso de armazenamento para as strings. Só vejo encoding dar problema quando o programador não entende do assunto. UTF-8 não é 100% livre de problemas também, isso é lenda. O mesmo caractere pode ser representado de forma combinante e não combinante, e quem não sabe o que está fazendo, volta e meia também se complica com UTF-8 puro.
    – Largato
    Commented 9/08/2014 às 17:32
  • O Win-1252 não é um padrão, nem o governo brasileiro, nem o governo de Portugal, nem o W3C... Nenhum orgão democrático de abrangência nacional ou internacional recomenda o uso do Win-1252. O que designamos "padrão" aqui é justamente a "recomendação consensual" já decidida. Você infelizmente não tem a opção de usar Win-1252 como afirma, só existe a opção de cumprir ou não cumprir com a recomendação de uso do UTF-8. Talvez haja uma certa confusão generalizada nesse sentido... Commented 9/08/2014 às 18:14
  • 2
    @PK Como postei na sua resposta, o UTF-8 não é solução universal. Concordo que é bom pra absurda maioria dos casos, mas a pergunta fala em abandonar tudo em favor do UTF-8. As seções "disadvantages" ilustram alguns pontos que mostram que o UTF-8 também tem problemas: en.wikipedia.org/wiki/UTF-8 . E eu normalmente não vejo problemas com acentos em aplicações com outros padrões, que não são poucas. Vejo problemas com pessoas que tem dificuldade de entender os limites de cada encoding, o que é compreensível (além da péssima documentação de muitas linguagens no que diz respeito a isso).
    – Largato
    Commented 9/08/2014 às 18:22
  • Nesta outra questão surgiu uma resposta baseada em fatos: pt.stackoverflow.com/a/30220/70
    – Largato
    Commented 27/08/2014 às 18:32
  • 3
    Relevante: xkcd.com/927 Commented 27/08/2014 às 20:01

5 Respostas 5

18

(para um enfoque mais cultural ver essa outra pergunta)

Pergunta-1. "(...) por que ainda existem aplicações que adotam padrões como ANSI, dentre outras codificações?"

Resposta. Eu diria "existem pouquíssimas". Algumas aplicações dessas se justificam tecnicamente por não usarem um alfabeto acentuado; e outras, que impõe aos falantes da língua portuguesa a ausência de acentos e/ou intercambiabilidade, estão fadadas ao sucateamento.

Pergunta-2. "Não seria mais fácil abandonar (...)?"

Resposta. Sim, quando digo "fadadas ao sucateamento" é mais ou menos isso. O problema talvez, é que você não pode esperar anos por isso, precisa de fato aplicações que respeitem o UTF-8 hoje, agora...

Muita gente, mesmo não expressando por escrito, diz abertamente que é a pressão das empresas internacionais, que fazem corpo mole no Brasil obrigando você a usar Windows-1252, ou das empresas governamentais, que interromperam a atualização dos softwares em 1980... Eu não concordo, se for só para justificar... Acho que não podemos colocar a culpa neles isoladamente (!), somos nós mesmos, profissionais da área, que fizemos corpo mole durante anos, ao não exigir o UTF-8 em nosso ambiente de trabalho, em nosso relacionamento com clientes e fornecedores.

Conclusão. Devemos concordar com o @utluiz, que lembra que em parte devemos nos esforçar todos os dias para manter todo o ambiente em UTF-8, e em parte devemos nos conformar, com fatos e fatores... e esquecer o assunto, até que mundo mude 100%.


PS: páginas na Web e armazenamento de textos em banco de dados, são casos emblemáticos. Por que tantos webdesigners demoraram tanto (e alguns ainda hoje) a se preocupar em preparar suas páginas e templates HTML com UTF-8? Quantos programadores participam da "localização" e melhora de open-source, como MySQL ou PostgreSQL? A distribuição brasileira do PostgreSQL não oferece como template padrão (DATABASE default) algo com ENCODING = 'UTF8' LC_COLLATE = 'pt_BR.UTF-8' LC_CTYPE = 'pt_BR.UTF-8'... E, como não é default, quantas empresas de hospedagem se deram ao trabalho de mudar o default para o padrão brasileiro? Quantos programadores, quando podiam, se preocuparam em configurar suas bases de dados desse modo? Eu mesmo já fui a minha vítima... Até mudar de postura.


Que tal se mudássemos um detalhe mínimo da pergunta, trocando ela para "Por que ainda eu permito usarem outras codificações além da UTF-8?"

Um posicionamento oposto, ao nos assumirmos como parte do ambiente

Em geral nos posicionamos como "vítimas" do nosso ambiente: o ambiente como fato, e como algo dirigido por decisões das quais não tomamos parte.

Mas o "ambiente" nesse caso, é algo onde, por exemplo a comunidade do Stackoverflow-Português, pode atuar, pode ter algum efeito, mesmo que pequeno. Se optarmos por nos conformar com essa "pequena mudança", as perguntas que devemos nos fazer mudam totalmente (!).

Por que nós, analista e programadores, não podemos exigir de nosso ambiente de trabalho, que se adote o padrão UTF-8? Por que as empresas de software e informática não podem exigir de seus clientes e fornecedores o intercambiar de dados em UTF-8?

Naturalmente, não se pode exigir de quem não tem, mas sabemos que 90% dos casos de configuração default de um produto nacional, nacionalizado ou "localizado", podem adotar UTF-8. Mais ainda, quando se fala de intercâmbio de dados, ou seja, formatos tais como XML e HTML, totalmente abertos e sob ambiente totalmente padronizado (ex. recomendações IETF e W3C), podemos chutar que 99% podem ser UTF-8.

Naturalmente, a segunda exigência, nos contextos extraordinários, quando não se pode oferecer UTF-8, é por ISO 8859-1. Há ainda uma série de contextos, sabiamente expressos pela resposta do @utluiz, onde a dificuldade de uso do UTF-8 "se explica" um pouco melhor, e se justifica pela nossa fraca cultura de uso de boas práticas, bem como cultura e histórico de não exigir os seus direitos de público ou consumidor falante da língua portuguesa.

A presente resposta é em parte um lembrete, de que padrões são úteis e necessários, de que, principalmente no Brasil, perdemos muito tempo de nossas vidas fazendo conversões, ajustando dados, ajustando configurações, e adaptando bibliotecas. Analistas e programadores perdem tempo, usuários se sujeitam a produtos e "servicos" sem cedilha.

Contextualizando

Quando se fala de informática, computação e mídias digitais, até mesmo Portugal se entende por "país colonizado". Aos falantes da língua portuguesa sempre foi imposta a condição estrangeira (ex. conformar-se com um texto sem acentos).

Aos poucos os padrões europeus foram sendo adotados, e as exigências mínimas para se expressar o alfabeto do português de forma padronizada, sendo aceitas por fabricantes de máquinas, de softwares e de outros recursos. Foi de grande importância a consolidação da norma ISO 8859-1 (conhecida como ISO-Latin-1).

No Brasil, todavia, ainda prevalecia um pouporry de encodings... E com o surgimento do Unicode, e o surgimento das "recomendações por uso de UTF-8", a diversidade (desse pouporry) só aumentou.

Relembrando fatos

Como já colocado nesta e em outras respostas, UTF-8 é, há anos, um padrão de facto e de jure.

O W3C vem sugerindo uso de UTF-8 (ver RFC-3629) em todas as suas recomendações. Da mesma forma, o governo brasileiro, com a recomendação e-PING.

Todos os sistemas operacionais em uso, em computação fixa ou móvel, dão suporte a UTF-8. Até mesmo QR-Code oferece UTF-8...

Na Web, o UTF-8 já é a codificação mais usada (padrão de facto) desde 2007:

  • artigo "Moving to Unicode 5.1", de 2008, mostra em gráficos e com dados do Google, que em dezembro de 2007 a codificação UTF-8 tornou-se a codificação mais frequênte nas páginas da Web, passando ASCII e ISO 8859-1.

  • artigo sobre blogosphere, de 2012, reavalia e demonstra que UTF-8 continua predominante, mesmo em páginas "tecnologicamente descompromissados" como, blogs, onde detectou-se apenas 6% de páginas explicitamente codificadas com algo que não era UTF-8.


Exemplos de perguntas relacionadas a problemas com UTF-8:

É claramente, ainda hoje, uma "dor de cabeça" para os analistas e programadores brasileiros, nas instalações, configurações, e principalmente na troca de dados.



EDIT (ref. comentários @Bacco)

Sobre a questão da "liberdade de escolha". Dois exemplos:

  • Temos liberdade de escolher entre Java, PHP ou Python, etc. São todas elas "linguagens padrão" É questão de gosto, de contexto, etc. e o programador "adota o seu padrão". Não há necessidade de "uma só linguagem para todos", pois não existem problemas de coordenação relevantes. Os benefícios de "uma só para todos" não excedem os benefícios da diversidade. A existência de um certo número de grandes comunidades é suficiente para reduzir o excesso de diversidade.

  • Não temos liberdade de escolher o número (predial) de nossa casa, ele deveria cumprir um padrão que é a metragem da rua ou da sua quadra. Se inventamos por numerologia ou gosto, criamos confusão na rua, e dificultamos a entrega de cartas na própria casa. Nesta caso o benefício geral de "adotar o padrão" excede os benefícios pessoais da diversidade.

No caso da codificação não temos liberdade de escolher: o W3C, o governo brasileiro, etc. já escolheram para nós. É o UTF-8. Os benefícios de se adotar o padrão (ao invés da diversidade) são muito maiores, emerge interoperabilidade, simplicidade... como programadores perdemos muito menos tempo de nossas vidas (nos livrando das checagens, conversões e riscos de erro de conversão).

NOTA: essa coisa de "benefícios" (globais vs individuais) pode ser medida; o jogo das possibilidades, de ter cenários com mais ou com menos diversidade, é conhecido como jogo de coordenação. O padrão é a única coisa que resolve um dilema de coordenação.

18
  • 2
    Funcionou bem como resposta :)
    – bfavaretto
    Commented 9/08/2014 às 17:02
  • 2
    @PeterKrauss pois é, mas a thread toda aqui está propondo UTF-8 para todos, e não pro seu ambiente específico. UTF-8 é bom pra muita coisa, mas está longe de ser absolutamente perfeito e adequado para qualquer situação. Esse que você mencionou é um problema específico, e concordo que quando você tem um padrão na sua empresa, ele deve ser seguido. Querer que o SEU padrão seja usado por todos, é religião.
    – Largato
    Commented 9/08/2014 às 17:44
  • 4
    @PeterKrauss simplificando: Win 1252 é tão padrão quanto UTF-8. Ambos estão devidamente descritos. O UTF-8 é mais novo, mais abrangente, mas isso não significa que seja livre de problemas. Acho que cada um deve usar o que for conveniente pro seu uso especifico, desde que saiba o que faz e seus limites. Se eu for fazer uma aplicação internacional, claro que vou de Unicode (nao necessariamente UTF). Se estou fazendo uma aplicação de NFe, ambos sao bons, desde que na SAÍDA dos dados eu use o padrão que a API externa pede. O dia que um cliente árabe quiser o programa de NFe, posso repensar ;)
    – Largato
    Commented 9/08/2014 às 17:52
  • 3
    @PeterKrauss notar que estou falando da thread toda, não só da sua resposta. Tem muitas coisas na resposta que eu concordo, só não concordo com os pontos que reforçam a tese da pergunta, como se todo mundo adotando UTF-8 resolvesse todos os problemas. Talvez eu não tenha sido claro, e devesse ter comentado na pergunta apenas. UTF-8 pra vôo cego(as tais boas práticas) é uma ótima opção, provavelmente adequada para a grande maioria das situações. Só que UTF-8 não é absoluto, e tem seus problemas, como necessidade de normalização, tamanho imprevisível, e o fato de ter versões, entre outros.
    – Largato
    Commented 9/08/2014 às 18:01
  • 2
    @WeslleyCXSardinha é exatamente este o ponto. Cada encoding tem uma orientação também, assim como XML é cheio de problemas e não serve pra todos os casos. Aqui está havendo uma confusão imensa de "maioria" com "melhor". Adotar UTF-8 pra tudo seria tão absurdo quanto XML pra tudo, ou Java para tudo. Nenhuma dessas coisas é tão boa a ponto de servir para qualquer situação. E boa parte dos argumentos é "moda do momento". Tudo bem que eu só programo há uns 25 anos, mas nesse pouco tempo já vi um monte de "solução definitiva" que hoje ninguém se lembra mais. Quase tudo != Tudo.
    – Largato
    Commented 12/08/2014 às 20:54
15

Há relativamente pouco tempo atrás vários sistemas operacionais não suportavam UTF-8. Ainda há muitas aplicações dessa época em uso e, em muitos casos, as empresas não vão se dar ao trabalho de atualizá-los apenas por questões de boas práticas.

Além disso, IDE's como Eclipse e Visual Studio adotam o encoding do sistema operacional como padrão, que no caso do Windows aqui do Brasil é CP1252 ou WINDOWS-1252. Não sei se há algum motivo especial para uma IDE como o Eclipse não usar UTF-8, mas sempre que crio um novo Workspace no Eclipse eu tenho que definir manualmente UTF-8 como padrão.

Outro fator que dificulta a mudança é que alguns sistemas de versionamento de código-fonte (SCM) não lidam bem com mudança de codificação. Mesmo quando o fazem, as IDE's ou ferramentas clientes também podem se confundir. Já vi vários casos onde os desenvolvedores tiveram problemas em fazer merge por causa de encoding em SVN e CVS.

Enfim, na prática não é tão impossível e nem chega a ser difícil se todos os envolvidos no projeto comprarem a ideia e fizerem isso adequadamente. Então, os principais impedimentos para a utilização do UTF-8 em sistemas modernos são, em minha opinião, os seguintes:

  • Dificuldade em trabalhar com as ferramentas
  • Não ter um consenso na equipe sobre adotar o UTF-8
  • Não ter boas práticas e padronização como prioridade
  • Falta de conhecimento sobre boas práticas
  • Falta de tempo
  • Falta de motificação, por já estar acostumado a trabalhar de um certo jeito

Pode também ser uma combinação desses fatores

7

Porque o "ANSI" é mais simples e resolve a maioria dos casos. Para mais detalhes veja minha outra resposta sobre o assunto.

  • UTF8 é mais lento.
  • Ele ocupa mais espaço na maioria dos casos.
  • É difícil manipular corretamente (implementar e até usar).
  • Há problemas de confiabilidade e ambiguidade.
  • Embora isto esteja mudando, ele não pode ser usado em várias situações e nunca terá 100% de domínio (sempre existirão aplicações legadas e sempre terão profissionais que entendem que há formatos melhores mesmo que muita gente queira fazer propaganda que um formato quase cura câncer).
  • Tem outros problemas que falo na minha outra resposta.

Coloquei no GitHub para referência futura.

1
  • 8
    Mas só UTF-8 traz a pessoa amada em 3 dias. :)
    – Largato
    Commented 27/08/2014 às 19:57
2

Dentre os pontos básicos a se observar ao adotar padrões, deve-se analisar a parte técnica e principalmente o business model.

Caso queira o sistema engessado e limitado regionalmente, escolha um charset local como ansi, win1252, shift-jis, big5, entre outros.

Caso queira um sistema flexível no qual é possível torná-lo acessível a nível global, use um encode apropriado para tal como o utf8 ou utf16. Existe também o utf32 conhecido por ucs-4.

O UTF8 é o recomendado mundialmente para uso em sistemas de acesso global.

A divergências surgem devido a diferença entre os ambientes nos quais trabalham os programadores web e programadores desktop. Quando ambos se chocam, começam as agressões.

Programadores desktop normalmente lidam mais com mercados locais específicos. Programadores web precisam pensar global o tempo inteiro pois, normalmente o que desenvolve fica público na internet com acesso global.

Um software desktop que roda na padaria do tio da esquina, não terá nenhum indiano, malaio, chinês ou árabe acessando o sistema. Por isso, não se preocupam com padrões de internacionalização e, de certo modo tem sua razão.

Contudo, há um porém. Nesse ponto entramos na discussão sobre modelo de negócios.

Mesmo para um programador que desenvolve somente softwares localizados (para o boteco da esquina), imagine quando esse programador pensar em exportar o produto para outro país. Ele é convidado para trabalhar na Coréia do Sul, mas o produto dele não tem um padrão internacionalizado, logo, perderia para um concorrente que possua padrões internacionalizados.

0

Na questão UTF8, Ansi, etc convém não esquecer que:
pelo menos temos que lidar com o passado, com textos legados

Provavelmente já foi dito tudo. Ainda assim, aqui vai um pouco da minha novela pessoal:

(1) Lido com textos onde coexistem várias línguas, caracteres gregos, matemáticos, cirílicos, chineses. (2) Trabalhei num dicionário PT - chinês antes do Unicode ser popular... (3) Lido com alinhamento de traduções (exemplo PT-RU).

Detesto o UTF-8. Mas ainda detesto mais

  • ... não poder escrever os caracteres pretendidos
  • ... haver trezentos encodings diferentes
  • ... haver formatos textuais que não indiquem o encoding usado.

Tenho tido que processar grandes quantidade de textos legados. E constato que:

  • embora as ferramentas tenham uma duração pequena (em 5 anos nascem, apodrecem, morrem, e ficam irrelevantes), os textos/conteúdos têm uma enorme duração.
  • ignorar os encodings usados no passado seria prescindir do passado
  • aparecem centenas de encodings diferentes (experimentem iconv -l para relembrar alguns nomes)

Já agora: Não esquecer as ferramentas ligadas a encodings (exemplo iconv, recode)!

1) Que encodings há?

iconv -l          // 1173 alguns dos quais alias

2) Como converto o meu texto em formato windows cirílico (WINDOWS-1251) para UTF-8 ?

iconv -f WINDOWS-1251 -t utf8 file.txt > file-utf8.txt

3) Como saber em que raio de encoding estará este velho file de língua PT?

for a in `iconv -l`
do
  iconv -c -f $a -t utf8 antiguidade.txt |grep -q "ção" && echo $a
done

4) E já agora, bibliotecas como a glibc têm funções como iconv permitem facilitar a exportação / importação em vários encodings (funções com análogas existem para tudo o que é linguagem)

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .