Respondendo ponto a ponto:
O que pode ser considerado como caractere, no âmbito de programação?
Durante muito tempo foi usada a definição "1 caractere = 1 byte". Hoje, no âmbito de programação, a melhor definição é "um caractere é um sinal definido na tabela Unicode"; ele pode ser representado por 1 a 4 bytes, dependendo da codificação. Vou explicar Unicode e codificação mais abaixo.
A definição clássica e obsoleta: 1 caractere = 1 byte
Vale a pena entender essa definição, e também porque ela é obsoleta. Em um byte podemos representar 256 símbolos diferentes.
A tabela ASCII (pronuncia-se "ásqui" e não "asc-dois") é um padrão importante até hoje, mas ela utiliza apenas os primeiros 128 valores possíveis, para representar as letras maiúsculas e minúsculas (sem acentos), dígitos, alguns símbolos e caracteres "invisíveis" para indicar quebras de linha, tabulações e outras operações que faziam sentido quando os computadores não tinham uma tela e só podiam exibir texto em um teletipo (aliás é por isso que em muitas linguagens de programação a função que exibe texto chama-se print).
Esse conjunto de 128 caracteres da tabela ASCII praticamente só serve para textos em inglês, um idioma que não usa acentos (mas até nisso há exceções).
Para idiomas que usam acentos, ou caracteres não latinos, empresas e governos criaram tabelas alternativas usando os 128 códigos de bytes que o ASCII não usa. No Brasil, muitas fontes de dados usam a tabela ISO-8859-1 ou derivadas, como Windows-1252. Essa solução cria vários problemas na transmissão de dados entre países que usam idiomas diferentes, porque os idiomas precisam de tabelas diferentes, então o significado dos bytes não é universal. O padrão Unicode foi criado para eliminar essa confusão.
Unicode
Com a expansão da Internet, surgiu a necessidade de um padrão único para representar caracteres, que atenda às necessidades de todas os idiomas humanos, e incluindo símbolos matemáticos, emojis e muitos outros sinais. Esse padrão é o Unicode. Note que Unicode e UTF-8 são coisas relacionadas, porém diferentes. Primeiro vamos falar só sobre Unicode.
No site Unicode.org você encontra tabelas em PDF onde pode conhecer caracteres árabes, chineses, egípcios (do tempo do faraós), emojis etc. Vale a pena visitar. O padrão Unicode prevê códigos para 1.114.112 caracteres possíveis, mas sua versão mais recente utiliza pouco mais de 10% desse espaço de códigos. Mais de 100.000 desses caracteres destinam-se a três idiomas apenas: chinês, coreano e japonês.
Existe diferença entre caractere e caractere alfanumérico?
Informalmente, usamos "caractere alfanumérico" para se referir a letras de A a Z e dígitos de 0 a 9, apenas. Frequentemente essa definição informal exclui letras acentuadas.
Formalmente, no padrão Unicode existem propriedades vinculadas a cada caractere; uma delas diz se ele é uma letra, número ou outro tipo de sinal.
Linguagens de progamação modernas, como Java e Python 3, aceitam caracteres acentuados e até letras não latinas — como ideogramas chineses — nos identificadores de variáveis, funções etc. Os compiladores ou interpretadores dessas linguagens usam uma propriedade Unicode para decidir o que é ou não uma "letra".
Nos documentos oficiais do Unicode.org, os caracteres são chamados formalmente de codepoints e identificados com um código hexadecimal com prefixo U+ e um nome único. Por exemplo:
U+0041 A LATIN CAPITAL LETTER A
U+0042 B LATIN CAPITAL LETTER B
U+0043 C LATIN CAPITAL LETTER C
Esses três exemplos são caracteres da tabela ASCII, e seus códigos Unicode são os mesmos da tabela ASCII: o código da letra A é 41 em hexadecimal ou 65 em decimal. Veja alguns emojis:
U+1F600 😀 GRINNING FACE
U+1F601 😁 GRINNING FACE WITH SMILING EYES
U+1F602 😂 FACE WITH TEARS OF JOY
U+1F603 😃 SMILING FACE WITH OPEN MOUTH
Observando os códigos acima, e sabendo que o maior número hexadecimal que cabe em um byte é FF, como fazemos para representar no computador os milhares de caracteres depois dos 256 primeiros? É aí que entra a codificação.
Codificação
Matematicamente falando, é igual a programação?
Codificação (encoding, em inglês) é um algoritmo para converter um codepoint — como U+1F601 — em bytes para armazenagem no computador ou para tranmissão pela rede, e também para fazer a operação inversa, de bytes para codepoint.
Veja como isso acontece no interpretador interativo de Python 3 (a ideia básica é a mesma, independente da linguagem de programação):
>>> cavalo = '\u265e'
>>> print(cavalo)
♞
>>> cavalo.encode('utf-8')
b'\xe2\x99\x9e'
Em uma string em Python, os codepoints de U+0000 a U+FFFF podem ser representados pela sequência '\uXXXX' onde 'XXXX' são 4 dígitos hexadecimais (nem mais nem menos, sempre 4). Note que a string atribuída a cavalo
contém apenas um caractere, o U+265E (BLACK CHESS KNIGHT, cavalo preto do Xadrez). Para codepoints a partir de U+10000 é preciso usar o prefixo '\U' (maiúsculo) e 8 dígitos hexadecimais, nem mais nem menos:
>>> cara = '\U0001F601'
>>> print(cara)
😁
>>> cara.encode('utf-8')
b'\xf0\x9f\x98\x81
Para salvar qualquer string em um arquivo, ou transmití-la pela rede, é preciso codificá-la. Existem várias codificações em uso, mas a mais comum e recomendada como padrão pelo W3C é UTF-8. Para codificar uma string em Python, usamos o método .encode()
, como nos exemplos acima.
Note que o cavalo do xadrez é codificado em 3 bytes em UTF-8, e a carinha feliz é codificada em 4 bytes. Isso mostra que o número de bytes varia conforme a codificação e conforme o caractere. Uma vantagem importante do UTF-8 é que os 127 caracteres ASCII originais são codificados em apenas um byte, com o mesmo código da tabela ASCII.
O U+0041 e U+005A também são considerados como caracteres?
Esses dois codepoints representam as letras A e Z, como podemos ver com Python:
>>> '\u0041'
'A'
>>> '\u005a'
'Z'
Além de serem caracteres, eles são caracteres alfanuméricos.
Happy hacking!