Toda informação em um computador é armazenada em bytes, e com caracteres/texto não é diferente. Uma das ideias mais básicas para se trabalhar com texto, ainda usada até hoje, é a de mapear caracteres para valores numéricos - e para que o computador possa manipulá-los, transforma-se esses valores numéricos em bytes.
O ASCII (American Standard Code for Information Interchange), criado nos anos 60, faz isso. Então a letra a
tem o valor numérico 97, a vírgula tem o valor 44, e assim por diante. Provavelmente por ter sido inventado por uma entidade anglófona, ele só cobre os caracteres usados na língua inglesa: letras de A a Z (sem acentos), dígitos de 0 a 9, espaços e alguns sinais de pontuação (além de alguns outros, como o DEL, a quebra de linha, caracteres de controle, etc).
Sendo assim, o ASCII é um character set ("conjunto de caracteres"): termo que o Unicode define como "um conjunto de elementos usados para representar informação textual". O ASCII também possui caracteres de controle que não são necessariamente texto (há caracteres para "coisas não-imprimíveis", como o bell, que só serve para emitir um som, entre outros). Mas a maioria dos caracteres ASCII de fato servem para "representar informação textual".
Além disso, o Unicode também define o termo Coded Character Set (em tradução livre): Um conjunto de caracteres no qual cada caractere é associado com um valor numérico. Geralmente abreviado como "character set", "charset" ou "code set"; ou ainda como CCS. Sendo assim, o ASCII seria também um Coded Character Set. Interessante notar que os termos Charset, Character Set e Code Set são todos considerados sinônimos de Coded Character Set.
No total haviam 128 caracteres ASCII, com valores de 0 a 127. Ou seja, qualquer um desses valores podia ser armazenado em 7 bits, e portanto qualquer valor ASCII cabia em um byte (8 bits). Isso deixava um bit sobrando, então haviam mais 128 valores que podiam ser usados e ainda sim caberiam em um byte. E eles foram não só usados, como também abusados: várias pessoas diferentes tiveram essa mesma ideia, e acabaram criando mapeamentos diferentes para os valores entre 128 e 255 (diferentes character sets, sendo que de 0 a 127, os caracteres eram os mesmos do ASCII).
O resultado disso foi que qualquer um dos valores entre 128 e 255 podiam representar caracteres completamente diferentes, dependendo do mapeamento usado. Cada um desses mapeamentos era chamado de Code Page. Muitos usavam estes valores para caracteres que existiam em seus idiomas nativos mas não no ASCII, por exemplo. O fato de muitos terem criado tais mapeamentos para suas necessidades específicas, sem se preocupar se outros estavam fazendo a mesma coisa, levou à criação de vários Code Pages.
Como cada valor entre 128 e 255 poderia representar um caractere completamente diferente, dependendo do Code Page usado, isso tornava muito difícil - para não dizer impossível - o uso destes caracteres simultaneamente, além de outros problemas.
Unicode
O Unicode, no fim das contas, é "apenas" mais um mapeamento (muito maior e mais abrangente do que o ASCII e os Code Pages, mas ainda sim é um mapeamento: um grande "tabelão", ou um grande coded character set). Cada caractere possui um valor numérico associado, que é chamado de Code Point.
Na verdade o Unicode é bem mais do que isso, mas para simplificar, vamos assumir por enquanto que é "apenas" um mapeamento.
Os valores dos code points são escritos em hexadecimal e com o prefixo U+
(indicando que aquele não é apenas um valor numérico qualquer, e sim um code point definido pelo Unicode). Então a letra a
, cujo code point é 97 em decimal, é representada como U+0061 (pois 61 na base 16 é igual a 97 na base 10). Interessante notar que o valor deve ser escrito com no mínimo 4 dígitos, então você não poderia escrevê-lo como "U+61" ou "U+061".
Um code point pode ter valores entre zero (U+0000) e 1.114.111 (U+10FFFF), o que dá um total de 1.114.112 code points possíveis. Esta faixa de valores entre zero e 1.114.111 é chamada de Unicode Codespace. Atualmente, apenas uma parte deles está sendo usada: se consultarmos a versão mais atual do Unicode (16.0.0, na data em que atualizo esta resposta), lá é dito que ela possui 154998 caracteres.
Sobre a origem da notação U+xxxx, leia aqui.
Os code points são divididos em 17 "planos". O primeiro é chamado Basic Multilingual Plane (BMP), e contém os code points entre U+0000 e U+FFFF. Este plano é o que contém a maior parte dos code points mais usados no dia a dia, já que abrange os caracteres de praticamente todos os idiomas do mundo, além de inúmeros símbolos (incluindo sinais de pontuação, quebras de linha, espaços, etc).
Além do BMP, existem mais 16 planos, que cobrem os code points entre U+010000 e U+10FFFF (Supplementary Multilingual Plane (SMP), que contém os code points entre U+10000 e U+1FFFF, Supplementary Ideographic Plane (SIP), que contém os code points entre U+20000 e U+2FFFF, etc), e são chamados de suplementares ou astrais ("suplementary planes" ou "astral planes") - e os code points contidos nestes planos são chamados de astral code points. Neles ainda existem vários caracteres conhecidos, como o PILE OF POO (U+1F4A9) e vários outros emojis (sim, os emojis do seu celular também possuem code points associados).
Além dos planos, há também os blocos (agrupamentos de code points consecutivos). Cada bloco é composto geralmente por caracteres que possuem alguma característica em comum, seja o seu uso em um ou mais idiomas específicos, ou em alguma determinada área (como os símbolos matemáticos, embora exista mais de um bloco para eles).
Mas esta separação não é tão "perfeita" assim. Por exemplo, o símbolo do iene (¥
) está no bloco Latin-1 Supplement (que contém os code points entre U+0080 e U+00FF), enquanto o símbolo do euro (€
) - e muitos outros símbolos de outras moedas - está no bloco Currency Symbols (que contém os code points entre U+20A0 e U+20CF). E há vários outros casos de símbolos "parecidos" que estão em blocos diferentes (sem contar os vários blocos que contém "Miscelânea" no nome, como o Miscellaneous Symbols e o Miscellaneous Symbols and Pictographs, que contêm inúmeros símbolos, muitos sem nenhuma relação entre si).
Além de cada code point estar em um bloco, eles também possuem diversas propriedades que indicam determinadas características dos mesmos, como se é uma letra (e se esta letra é uppercase, lowercase, titlecase, etc), se é um dígito, um whitespace, etc.
Uma dessas propriedades é a "General_Category" (informalmente chamado apenas de "categoria"). Os símbolos do iene e do euro, por exemplo, possuem a categoria Symbol, Currency (também representada pela sigla "Sc"). Todo code point possui uma categoria, inclusive os que ainda não possuem um mapeamento definido (veja aqui a lista completa das categorias Unicode).
Vale notar que o Unicode possui retro-compatibilidade com o ASCII, pois os codepoints entre U+0000 e U+007F (zero e 127) correspondem aos mesmos caracteres da tabela ASCII.
Um ponto importante é que o Unicode só define o mapeamento entre caracteres e seus respectivos valores numéricos (os code points). O Unicode, por si só, não diz como esses valores numéricos devem ser representados em bytes. É aí que entram os encodings.
Encodings
De quantas maneiras diferentes eu posso representar, em bytes, o code point U+0020?
Um jeito é pegar o valor numérico (20 em hexadecimal, ou 32 em decimal), e gravá-lo como um byte (em binário, seria 00100000
). Isso funciona muito bem para code points entre U+0000 e U+00FF, pois todos esses valores cabem em um byte (é o que o ASCII faz, então ele pode ser considerado ao mesmo tempo um character set e um encoding - diferente do Unicode, que é um character set, mas não um encoding). Mas como o Unicode permite code points até U+10FFFF, muitos valores precisarão de mais que um byte para serem representados.
Então poderíamos usar 2 bytes, que ficaria 00 20
(assim poderíamos ter valores até U+FFFF). Mas também é possível escrevê-los como 20 00
. A primeira forma é conhecida como "big endian", e a segunda, "little endian". Para saber qual está sendo usada, existe a convenção de colocar uma "marca" no início: os bytes FE FF
, se colocados nessa ordem no início (antes dos code points propriamente ditos), significa que todos os bytes seguintes estão em big endian. Se estiverem em little endian, a marca deve ser FF FE
. Esta marcação (FF FE
ou FE FF
) é chamada de Byte Order Mark (BOM). Já este formato de codificação (este encoding), que usa dois bytes para cada code point, é chamado de UTF-16 ("UTF" significa "Unicode Transformation Format", e o 16 vem da quantidade de bits usados para cada valor).
Para code points com valores acima de U+FFFF (que precisam de mais que 2 bytes para serem representados), o UTF-16 "quebra" o valor em duas partes, criando o chamado surrogate pair (o "par substituto"). O algoritmo é descrito em detalhes na Wikipedia, mas basicamente, um code point como U+1F4A9 é "quebrado" (ou "decomposto") em duas partes (cada uma contendo 2 bytes): D83D
e DCA9
.
Um detalhe interessante é que todos os code points entre U+D800 e U+DFFF são reservados para os surrogate pairs, sendo que o primeiro valor (também chamado de high surrogate) sempre está no intervalo 0xD800–0xDBFF, e o segundo valor (low surrogate) sempre está no intervalo 0xDC00–0xDFFF.
Outro encoding muito usado é o UTF-8, que adota uma abordagem diferente. Dependendo do valor do code point, este pode ser escrito em até 4 bytes, conforme tabela abaixo:
Bytes |
Bits p/ code point |
1º code point |
Último code point |
Byte 1 |
Byte 2 |
Byte 3 |
Byte 4 |
1 |
7 |
U+0000 |
U+007F |
0xxxxxxx |
|
|
|
2 |
11 |
U+0080 |
U+07FF |
110xxxxx |
10xxxxxx |
|
|
3 |
16 |
U+0800 |
U+FFFF |
1110xxxx |
10xxxxxx |
10xxxxxx |
|
4 |
21 |
U+10000 |
U+10FFFF |
11110xxx |
10xxxxxx |
10xxxxxx |
10xxxxxx |
No caso, as letras x
representam os bits do valor numérico do code point. Ex: o code point U+00F5, que em binário é 11110101
. De acordo com a tabela acima, ele cai no segundo caso (precisa de 2 bytes, sendo que 11 bits são usados para o code point). Como o valor do code point só usa 8 bits, são adicionados 3 zeros à esquerda para completar os 11, ficando 00011110101
. Em seguida, o primeiro byte será 110
seguido dos primeiros 5 bits do code point (00011
), e o segundo byte será 10
seguido dos 6 bits restantes (110101
). O resultado são os bytes 11000011
e 10110101
(ou, em hexadecimal, 0xC3 e 0xB5).
Repare que de zero até 127 (U+007F), os valores são codificados em apenas um byte, o que torna o UTF-8 compatível com o ASCII (pois todos os caracteres neste intervalo são codificados da mesma forma). Outro ponto importante é que, com o UTF-8, não é preciso usar o BOM - na verdade o Unicode recomenda que não seja usado: veja a seção 3.10, item D95, que diz que o BOM não é obrigatório e nem recomendado ("is neither required nor recommended").
Existem ainda outros encodings, como o UTF-32, que usa 4 bytes para representar todos os code points, além de muitos outros: a lista de encodings existentes é bem extensa. Lembrando que nem todos os encodings são capazes de representar todos os valores possíveis de code points do Unicode, e a quantidade de bytes necessárias para se representar um code point pode variar conforme o encoding utilizado.
O que é um caractere?
O termo "caractere" é amplamente usado para designar uma série de coisas: desde símbolos (letras, números, sinais de pontuação) até códigos especiais de controle (como o CARRIAGE RETURN, que retorna o cursor para o início da linha), entre outros.
O Unicode define o termo "caractere" assim (em tradução livre):
(1) O menor componente de uma linguagem escrita que possui valor semântico; refere-se ao significado e/ou forma abstrata, ao invés de uma forma específica, embora em certas tabelas alguma representação visual seja essencial para o entendimento dos leitores. (2) Sinônimo para caractere abstrato (sendo que "caractere abstrato" é definido como "unidade de informação usada para organizar, controlar ou representar dados textuais"). (3) A unidade básica de codificação para o Unicode. (4) O nome (em inglês) para os ideogramas de origem chinesa.
A definição 3 dá a entender que cada code point do Unicode representa um caractere, e em muitos casos isso até é verdade: as letras de A a Z, os números, o espaço, os sinais de pontuação, todos esses caracteres possuem seu próprio code point, em uma relação 1 para 1. Mas se considerarmos a definição 1 ("menor componente de uma linguagem escrita que possui valor semântico"), essa regra não se aplica mais.
Por exemplo, a letra "a" com acento agudo: "á". Na língua portuguesa, ela se encaixa na definição de "menor componente que possui valor semântico", já que se retirarmos o acento, isso pode mudar o significado de uma palavra (como ocorre com "sábia", "sabia" e "sabiá"). Então o "á", segundo esta definição, poderia ser considerado um caractere diferente do "a" (e também do "â", do "ã" e do "à").
Mas então deve ter apenas um code point para representar o "á", certo? Bem, na verdade, no Unicode há duas formas de representar este caractere:
- como o code point U+00E1 (LATIN SMALL LETTER A WITH ACUTE) (
á
)
- como uma combinação de dois code points:
A primeira forma é chamada de Normalization Form C (NFC), e a segunda, de Normalization Form D (NFD) - ambas descritas aqui (leia mais sobre isso aqui). Na forma NFD, o caractere referente ao acento é combinado com o anterior (no caso, a letra "a"), e quando eles são impressos, são mostrados como se fossem uma coisa só: o "á" (um único símbolo/caractere/"desenho na tela").
Isso é possível porque existem code points que têm essa característica de poderem ser combinados com outros (os chamados Combining Characters). Muitos deles, incluindo o acento agudo, estão no bloco Combining Diacritical Marks.
Então se você vê um "á" na tela do computador, não há como saber (somente olhando) se ele está em NFC ou NFD. Você só saberá se "escovar os bits" e ver quantos code points existem ali. A maioria das linguagens possui algum mecanismo - simples ou não, varia bastante - para fazer tal verificação.
De qualquer forma, se considerarmos que o "á" é um caractere (por ser o "menor componente de uma linguagem escrita que possui valor semântico"), então não podemos assumir que um code point sempre corresponde a um único caractere.
Há ainda outras formas de se combinar code points. Os emojis de bandeira, por exemplo, são na verdade a combinação de dois code points. Basicamente, usam-se os códigos definidos pela ISO 3166 (que define códigos de 2 letras para cada país) e para cada letra existe um Regional Indicator Symbol correspondente (como o "REGIONAL INDICATOR SYMBOL LETTER A", por exemplo, que corresponde à letra "A").
Ex: o código da Austrália, segundo a ISO 3166, é "AU", então usa-se os Regional Indicator Symbols correspondentes (o da letra "A" (U+1F1E6) e o da letra "U" (U+1F1FA)). Quando esses dois code points são colocados um após o outro, o sistema (caso tenha suporte a estes emojis) os mostra como se fossem uma coisa só - no caso, a bandeira da Austrália. Apesar de só ter um símbolo/desenho/"caractere" na tela, foram necessários dois code points para representá-lo. Obs: se o sistema/aplicativo/editor/fonte sendo usado não suportar os emojis de bandeira, ele pode mostrar os próprios caracteres, mais ou menos assim:
Na verdade, a combinação de dois Regional Indicator Symbols representa um país/região específica, e geralmente é mostrado como a respectiva bandeira daquele lugar (mas ela não é a bandeira em si).
De qualquer forma, o emoji de bandeira é o "menor componente que possui valor semântico", já que somente um Regional Indicator Symbol isolado não significa nada, mas dois deles juntos representam um país/região específica.
Os emojis de família são mais complicados ainda. Existem vários emojis que correspondem a um único code point, como o MAN (U+1F468), WOMAN (U+1F469) e GIRL (U+1F467).
Mas muitos sistemas também possuem os emojis de família, com inúmeras variações de filho(s) e filha(s). Por exemplo, existe a "família com pai, mãe e duas filhas", mas não existe um code point que corresponda a este "caractere". Na verdade, este emoji é composto por sete code points, nesta ordem:
Os emojis de homem, mulher e meninas são "unidos" pelo caractere especial/invisível ZERO WIDTH JOINER (ZWJ). Este caractere é usado para juntar emojis (embora não se limite a isso), e estas sequências de emojis unidos por um ZWJ são chamadas de Emoji ZWJ Sequences. Esta sequência de codepoints pode ser mostrada de diferentes maneiras. Se o sistema/programa usado reconhece esta sequência, é mostrada uma única imagem da família:
Mas se esta sequência não é suportada, os emojis são mostrados um ao lado do outro:
Então uma Emoji ZWJ Sequence pode ser considerada um único caractere? Afinal, em sistemas que suportam estas sequências, ela é mostrada como se fosse uma coisa só (um único símbolo/"desenho" na tela). Até mesmo nos teclados de vários sistemas, principalmente celulares, você só precisa teclar uma vez para enviá-lo - embora alguns possam argumentar que isso é somente um atalho que facilita a usabilidade, e não necessariamente significa que aquilo é um único caractere.
De qualquer forma, podemos considerar que os emojis de família e de bandeira se encaixam na definição de "menor componente de uma linguagem escrita que possui valor semântico"?
Podemos argumentar que são "desenhos" e por isso não fazem parte da "linguagem escrita". Mas de certa forma, todas as letras, no fundo, não passam de "desenhos" (com regras bem definidas sobre suas formas e significados, mas ainda sim, são desenhos, não?), então por que um emoji não pode ser considerado parte de um texto "escrito"?
Mas independente de ser "escrito" ou não, podemos considerar que eles são os "menores componentes que possuem valor semântico" (um emoji isolado de um homem, mulher ou criança significa uma coisa, já todos juntos em um único símbolo/desenho significa outra; a bandeira simboliza um país, já cada um dos Regional Indicator Symbols, isoladamente, não).
No Unicode, uma sequência de code points que pode ser interpretada como se fosse "uma coisa só" é chamada de Grapheme Cluster. Sendo assim, não importa se eles são considerados "caracteres". O que importa é que podemos ter grupos de code points que, quando estão unidos segundo determinadas regras, possuem um significado próprio, diferente daquele que cada um teria separadamente. Isso pode influenciar inclusive os algoritmos para determinar o tamanho de um texto, ou inverter uma string, pois o resultado final pode ser diferente, dependendo da definição escolhida: se você considerar que cada code point é um caractere, ao calcular o tamanho da string ou invertê-la, você terá resultados diferentes do que obteria se considerasse que cada grapheme cluster é um caractere (e se você considerar os bytes em vez dos code points, o resultado será ainda outro, já que isso varia conforme o encoding utilizado - podendo até gerar uma sequência inválida de bytes, no caso de invertê-los "cegamente").
O mesmo vale para expressões regulares. O ponto (.
) significa "qualquer caractere" (exceto quebras de linha), mas na grande maioria das implementações ele na verdade corresponde a um code point. Por isso a regex ^.{5}$
(exatamente 5 caracteres) dará um match na string sabiá
se ela estiver em NFC, mas não se ela estiver em NFD (pois neste caso o "á" será decomposto em 2 code points e a string terá no total 6 code points). Algumas linguagens/engines suportam o atalho \X
, que corresponde a um grapheme cluster, mas dependendo da implementação ele pode não reconhecer todos os casos (como os emojis de bandeira e as ZWJ Sequences).
Então um Grapheme Cluster é ou não é o mesmo que um caractere? E quanto ao Zero Width Joiner, ele é um caractere? Ele tem um code point (U+200D), mas ele por si só possui algum significado? Isoladamente, ele é um componente que possui valor semântico, ou ele só faz sentido junto de outros code points? E o Right to Left Marker, que afeta a direcionalidade de um texto, mas sozinho não tem efeito nenhum (e sequer é impresso/mostrado)?
O que de fato é um caractere? No próprio glossário do Unicode (já visto acima) há 4 definições, e a primeira e a terceira são, na minha interpretação, contraditórias (uma fala do "menor componente que possui valor semântico", a outra fala de "unidade básica de codificação para o Unicode", que entendo ser um code point, e já vimos que essas duas definições podem ser incompatíveis entre si).
Resumindo, o próprio Unicode usa e define o termo "caractere" de várias maneiras diferentes - e no meu entendimento, algumas são até contraditórias. No fim, minha conclusão até o momento é que não há uma definição única, exata e canônica sobre o que é um caractere, e que na verdade isso varia muito conforme o contexto.
Collation
Um collation é um conjunto de regras usadas para ordenar classificar caracteres (informalmente podemos chamar de "regras para definir a ordem alfabética").
Suas regras costumam variar de acordo com o idioma utilizado. Por exemplo, na Suécia, o caractere z
é colocado antes do ö
, já na Alemanha é o contrário (veja aqui um exemplo).
Outro exemplo é o idioma eslovaco, no qual o dígrafo "ch" é considerado uma "letra" à parte, que em ordem alfabética vai depois do "h" (sendo assim, a palavra "cha" viria depois de "ha" caso ambas existissem em eslovaco - veja aqui um exemplo). Por ser considerado uma unidade básica para determinar a ordem, o dígrafo "ch" - quando o locale eslovaco está sendo usado - é considerado um Collation Grapheme ("uma sequência de caracteres tratados como uma unidade básica de ordenação").
As mesmas regras sobre o que vem antes ou depois podem afetar os caracteres acentuados ("á" pode vir antes ou depois de "a"), letras maiúsculas e minúsculas, caracteres que não existem no idioma em questão, etc. Tudo isso é definido pelo Unicode Collation Algorithm.
Outros termos
Para finalizar, há ainda outros termos relacionados:
- Code Value ou Code Unit: segundo o Unicode, é a "menor combinação de bits que representa uma unidade de texto codificado para processamento ou intercâmbio". Por exemplo, o UTF-8 usa code units de 8 bits cada (e cada code point pode usar de 1 a 4 code units, como já visto acima), enquanto o UTF-16 usa code units de 16 bits cada (um code point pode usar 1 code unit, ou 2 no caso dos surrogate pairs). Apesar dos termos serem sinônimos, code value é considerado obsoleto.
- Octet: uma sequência ordenada de 8 bits, considerada "uma unidade" (no sentido de ser "uma coisa só") - para fins práticos, o Unicode considera que é o mesmo que um byte.
- Character Map: a Wikipedia cita que "historicamente já foi sinônimo de character set", mas atualmente parece não ser mais, pois não há nenhuma menção a este termo no Glossário do Unicode. As únicas referências atuais que encontrei são sobre o utilitário do Windows e similares.
- Na verdade o termo Code Point pode ser usado de maneira genérica para denotar um valor correspondente a um caractere, definido por um Coded Character Set (qualquer um, não necessariamente o Unicode). Por isso muitos costumam usar o termo "Unicode Code Point" para deixar claro que estão usando os valores definidos pelo Unicode. E existe ainda o termo Code Position, que é um sinônimo de Code Point.
Fontes usadas para esta resposta: