Qual a diferença entre Unicode e UTF-8? São a mesma codificação ou uma é derivada da outra?
1 Resposta
Unicode pode se referir:
- ao conjunto de caracteres padrão universal - UCS (Universal Character Set) - definido e mantido pelo Unicode Consortium
- ou aos codepoints que identificam os caracteres no UCS.
UTF significa Unicode ou (UCS) Transformation Format, que é como caracteres unicode são representados na memória do computador ou transmitidos.
Para realmente entender a diferença entre unicode e UTF-8 é necessário entender bem os seguintes conceitos.
Caracter abstrato
Um caracter abstrato é um ideal platônico de um elemento fundamental de texto.
O ideal platônico refere-se, por exemplo, ao conceito de que R é igual R ou a qualquer outra representação da letra R.
Já a questão de elemento fundamental de texto é mais complicada, por exemplo ç pode ser entendido como um único caractere ou como a composição de dois: c e ¸.
Parte do trabalho da Unicode Consortium está em identificar esses elementos fundamentais. Veja abaixo exemplos da relação entre elementos (não fundamentais) de texto e caracteres.
codepoint
Uma vez definidos os caracteres a Unicode Consortium define codepoints para esses caracteres. Esses codepoints são identificadores e NÃO têm, necessariamente, relação com como os caracteres são armazenados na memória, eles são uma abstração que permite identificar todos os caracteres mapeados facilmente.
Esses codepoints também são comumente referidos como Unicodes e são representados como U+0041 ou \u0041 (Letra A)
Como é possível ver abaixo um caracter abstrato pode ser representado por um ou mais caracteres unicode
code unit
Se refere a como os codepoints são armazenados na memória ou transmitidos. O UTF-8 utiliza code units de 8 bits para armazenar os caracteres Unicode. Dependendo do caracter o UTF-8 usa de 1 a 4 code units, por exemplo, A usa uma code unit, Ω duas e 𐎄 quatro.
A imagem abaixo mostra como os diferentes formatos codificam os mesmos caracteres. No UTF-32 o codepoint é igual ao code unit, o mesmo não vale para os demais formatos e a conversão de codepoint para code units não é óbvia.
Informações e imagens retiradas de Unicode Standard Version 10.0 - Core Specification