Na questão UTF8, Ansi, etc convemconvém não esquecer que:
pelo menos temos que lidar com o passado, com textos legados
Provavelmente já foi dito tudo. Ainda assim, aqui vai um pouco da minha novela pessoal:
(1) Lido com textos onde coexistem várias línguas, caracteres gregos, matemáticos, cirílicos, chineses. (2) Trabalhei num dicionário PT - chinês antes do Unicode ser popular... (3) Lido com alinhamento de traduções (exemplo PT-RU).
Detesto o UTF-8. Mas ainda detesto mais
- ... não poder escrever os caracteres pretendidos
- ... haver trezentos encodings diferentes
- ... haver formatos textuais que não indiquem o encoding usado.
Tenho tido que processar grandes quantidade de textos legados. E constato que:
- embora as ferramentas tenham uma duração pequena (em 5 anos nascem, apodrecem, morrem, e ficam irrelevantes), os textos/conteúdos têm uma enorme duração.
- ignorar os encodings usados no passado seria prescindir do passado
- aparecem centenas de encodings diferentes (experimentem
iconv -l
para relembrar alguns nomes)
Já agora: Não esquecer as ferramentas ligadas a encodings (exemplo iconv
, recode
)!
Que encodings há?
iconv -l // 1173 alguns dos quais aliasesalias
Como converto o meu texto em formato windows cirílico (WINDOWS-1251) para UTF-8 ?
iconv -f WINDOWS-1251 -t utf8 file.txt > file-utf8.txt
Como saber em que raio de encoding estará este velho file de língua PT?
for a in
iconv -l
do iconv -c -f $a -t utf8 antiguidade.txt |grep -q "ção" && echo $a doneE já agora, bibliotecas como a glibc têm funções como
iconv
permitem facilitar a exportação / importação em vários encodings (funções com análogas existem para tudo o que é linguagem)