24

Em uma outra pergunta, É uma má prática colocar números como id em elementos HTML? Se sim por quê? é questionado sobre colocar números como id em elementos HTML.

Vi que após alguns minutos uma grande confusão sobre caracteres, minha mesmo e talvez de outros pessoas.

Gostaria de alguns esclarecimentos sobre o assunto:

  • O que pode ser considerado como caractere, no âmbito de programação?
  • Existe diferença entre caractere e caractere alfanumérico?
  • Matematicamente falando, é igual a programação?

Também existe um comentário dizendo:

Se fosse apenas letras e números ele iriam mencionar, como fizeram em outros trechos " character in the range U+0041 to U+005A", ou seja especificando quais são os caracteres.

  • O U+0041 e U+005A também são considerados como caracteres?
2

4 Respostas 4

26

Respondendo ponto a ponto:

O que pode ser considerado como caractere, no âmbito de programação?

Durante muito tempo foi usada a definição "1 caractere = 1 byte". Hoje, no âmbito de programação, a melhor definição é "um caractere é um sinal definido na tabela Unicode"; ele pode ser representado por 1 a 4 bytes, dependendo da codificação. Vou explicar Unicode e codificação mais abaixo.

A definição clássica e obsoleta: 1 caractere = 1 byte

Vale a pena entender essa definição, e também porque ela é obsoleta. Em um byte podemos representar 256 símbolos diferentes.

A tabela ASCII (pronuncia-se "ásqui" e não "asc-dois") é um padrão importante até hoje, mas ela utiliza apenas os primeiros 128 valores possíveis, para representar as letras maiúsculas e minúsculas (sem acentos), dígitos, alguns símbolos e caracteres "invisíveis" para indicar quebras de linha, tabulações e outras operações que faziam sentido quando os computadores não tinham uma tela e só podiam exibir texto em um teletipo (aliás é por isso que em muitas linguagens de programação a função que exibe texto chama-se print).

Esse conjunto de 128 caracteres da tabela ASCII praticamente só serve para textos em inglês, um idioma que não usa acentos (mas até nisso há exceções).

Para idiomas que usam acentos, ou caracteres não latinos, empresas e governos criaram tabelas alternativas usando os 128 códigos de bytes que o ASCII não usa. No Brasil, muitas fontes de dados usam a tabela ISO-8859-1 ou derivadas, como Windows-1252. Essa solução cria vários problemas na transmissão de dados entre países que usam idiomas diferentes, porque os idiomas precisam de tabelas diferentes, então o significado dos bytes não é universal. O padrão Unicode foi criado para eliminar essa confusão.

Unicode

Com a expansão da Internet, surgiu a necessidade de um padrão único para representar caracteres, que atenda às necessidades de todas os idiomas humanos, e incluindo símbolos matemáticos, emojis e muitos outros sinais. Esse padrão é o Unicode. Note que Unicode e UTF-8 são coisas relacionadas, porém diferentes. Primeiro vamos falar só sobre Unicode.

No site Unicode.org você encontra tabelas em PDF onde pode conhecer caracteres árabes, chineses, egípcios (do tempo do faraós), emojis etc. Vale a pena visitar. O padrão Unicode prevê códigos para 1.114.112 caracteres possíveis, mas sua versão mais recente utiliza pouco mais de 10% desse espaço de códigos. Mais de 100.000 desses caracteres destinam-se a três idiomas apenas: chinês, coreano e japonês.

Existe diferença entre caractere e caractere alfanumérico?

Informalmente, usamos "caractere alfanumérico" para se referir a letras de A a Z e dígitos de 0 a 9, apenas. Frequentemente essa definição informal exclui letras acentuadas.

Formalmente, no padrão Unicode existem propriedades vinculadas a cada caractere; uma delas diz se ele é uma letra, número ou outro tipo de sinal.

Linguagens de progamação modernas, como Java e Python 3, aceitam caracteres acentuados e até letras não latinas — como ideogramas chineses — nos identificadores de variáveis, funções etc. Os compiladores ou interpretadores dessas linguagens usam uma propriedade Unicode para decidir o que é ou não uma "letra".

Nos documentos oficiais do Unicode.org, os caracteres são chamados formalmente de codepoints e identificados com um código hexadecimal com prefixo U+ e um nome único. Por exemplo:

U+0041  A       LATIN CAPITAL LETTER A
U+0042  B       LATIN CAPITAL LETTER B
U+0043  C       LATIN CAPITAL LETTER C

Esses três exemplos são caracteres da tabela ASCII, e seus códigos Unicode são os mesmos da tabela ASCII: o código da letra A é 41 em hexadecimal ou 65 em decimal. Veja alguns emojis:

U+1F600 😀  GRINNING FACE
U+1F601 😁  GRINNING FACE WITH SMILING EYES
U+1F602 😂  FACE WITH TEARS OF JOY
U+1F603 😃  SMILING FACE WITH OPEN MOUTH

Observando os códigos acima, e sabendo que o maior número hexadecimal que cabe em um byte é FF, como fazemos para representar no computador os milhares de caracteres depois dos 256 primeiros? É aí que entra a codificação.

Codificação

Matematicamente falando, é igual a programação?

Codificação (encoding, em inglês) é um algoritmo para converter um codepoint — como U+1F601 — em bytes para armazenagem no computador ou para tranmissão pela rede, e também para fazer a operação inversa, de bytes para codepoint.

Veja como isso acontece no interpretador interativo de Python 3 (a ideia básica é a mesma, independente da linguagem de programação):

>>> cavalo = '\u265e'
>>> print(cavalo)
♞
>>> cavalo.encode('utf-8')
b'\xe2\x99\x9e'

Em uma string em Python, os codepoints de U+0000 a U+FFFF podem ser representados pela sequência '\uXXXX' onde 'XXXX' são 4 dígitos hexadecimais (nem mais nem menos, sempre 4). Note que a string atribuída a cavalo contém apenas um caractere, o U+265E (BLACK CHESS KNIGHT, cavalo preto do Xadrez). Para codepoints a partir de U+10000 é preciso usar o prefixo '\U' (maiúsculo) e 8 dígitos hexadecimais, nem mais nem menos:

>>> cara = '\U0001F601'
>>> print(cara)
😁
>>> cara.encode('utf-8')
b'\xf0\x9f\x98\x81

Para salvar qualquer string em um arquivo, ou transmití-la pela rede, é preciso codificá-la. Existem várias codificações em uso, mas a mais comum e recomendada como padrão pelo W3C é UTF-8. Para codificar uma string em Python, usamos o método .encode(), como nos exemplos acima.

Note que o cavalo do xadrez é codificado em 3 bytes em UTF-8, e a carinha feliz é codificada em 4 bytes. Isso mostra que o número de bytes varia conforme a codificação e conforme o caractere. Uma vantagem importante do UTF-8 é que os 127 caracteres ASCII originais são codificados em apenas um byte, com o mesmo código da tabela ASCII.

O U+0041 e U+005A também são considerados como caracteres?

Esses dois codepoints representam as letras A e Z, como podemos ver com Python:

>>> '\u0041'
'A'
>>> '\u005a'
'Z'

Além de serem caracteres, eles são caracteres alfanuméricos.

Happy hacking!

1
  • 1
    Ótimo exemplo dos emojis de cara e cavalo 8/11/2017 às 19:05
8

O que pode ser considerado como caractere, no âmbito de programação?

Caracter é um simbolo visível ou não.

Existe diferença entre caractere e caractere alfanumérico?

alfanumérico é uma categoria representada por A-Z0-9 que para humanos servem para comunicar mensgens, dígitos eria outra categoria, na tabela ASCII existem também caracteres de controle como por exemplo o \n e \r

1
  • Hmmm, você esqueceu das minúsculas no alfanumérico... 8/11/2017 às 14:19
7

Muito pode ser dito sobre isso, mas para bom entendedor, meia palavra.

Segue código representativo em algumas linguagens.

C# / Java

char um = '1';

Acho que no mundo fortemente tipado já morreu a discussão.

Vamos para o mundo fracamente tipado:

Javascript

var um = '1';

PHP

$um = '1'

Em ambos os casos, o tipo caractere não existe. O que temos acima são strings. Mas se você tentar obter o primeiro caractere de cada string...

Finalmente, a discussão começou porque o W3C falou em caracteres e não foi claro. E como toda discussão que demora mais de meia hora tende a penetrar em um labirinto semântico (BLOCH, 20011), ficou no ar se um número pode ser um caractere ou não.

Pois bem, diretamente do próprio W3C, sobre a insfraestrutura do HTML 5:

The ASCII digits are the characters in the range ASCII digits.

Na nossa língua, com ênfase minha:

Os dígitos ASCII são os caracteres compreendidos na faixa dos dígitos ASCII.

Mais pra frente, sobre como fazer parsing:

Collect a sequence of characters that are ASCII digits, and interpret the resulting sequence as a base-ten integer.

Ou seja:

Colete uma sequência de caracteres que são dígitos ASCII, e interprete a sequência resultante como um inteiro na base dez.

Existem outras menções a dígitos sendo caracteres ou mesmo strings completas mais pra baixo no texto.


Ah, só mais uma coisa:

Existe diferença entre caractere e caractere alfanumérico?

Ambos são grupos de caracteres, e um está contido no outro.

Qualquer coisa que você possa ver em um texto (e até algumas que você não vê) são caracteres. Mas os caracteres alfanuméricos são aqueles que são capturados pela seguinte expressão regular:

a-zA-Z0-9\u00C0-\u00FF

Operadores matemáticos(+, -, /, %, *, !), apesar da matemática no nome, não são numéricos nem alfabéticos, por exemplo. Espaço também não é alfanumérico.

Matematicamente falando, é igual a programação?

Depende da álgebra e do universo utilizados ;) Por exemplo, em álgebra linear, existe um negócio chamado distância de Levenshtein no qual caracteres (todos eles) são pontos em um espaço multidimensional. Isso é utilizado para determinar, por exemplo, o quanto duas palavras são semelhantes. Já na álgebra do dia a dia que nós usamos para pagar boletos, nem existe o conceito de caractere.

1 A Completa Lei de Murphy, Arthur Block, 2001, Record

4
  • 1
    Ótima referência. Meio antiga, mas creio que canônica 8/11/2017 às 15:34
  • 2
    @JeffersonQuesado até procurar por ela eu jurava que o autor era o Millor Fernandes, não sei por que. 8/11/2017 às 15:37
  • "Depende da álgebra e do universo utilizados". Ok, creio que não haja mais nada que eu possa colaborar em uma resposta 8/11/2017 às 16:31
  • 1
    Outra matemática que usa "letras" é "linguagens formais/gramáticas formais" 8/11/2017 às 16:59
1

Boa tarde, minha primeira contribuição, espero, válida,

Sendo um caractere uma posição de um símbolo, para humanos ou não (line-feed, por exemplo, não é para humanos)

No início da informática 1 caractere era um byte, 7 bits bastavam para maiúsculas, minúsculas, números e mais umas coisas, e mais um bit um para paridade. Com o evoluir, o bit de paridade morreu e passamos a ter 256 caracteres.

Com a evolução e globalização 256 já não chegavam e apareceram as codepages.. consoante o país, os bytes > 127 eram interpretados conforme os caracteres especiais dessa codepage.

Mais tarde, UTF-8 e UNICODE e 1 caractere deixou de ser um byte para ser definido por, até, 4 bytes.

As bases de dados deixaram de usar "varchar" e passaram a usar , como no db2, vargraphic, para que, 40 símbolos chineses ou 40 caracteres latinos consigam ser guardados neste campo. Se usasse varchar apenas comportaria 10 a 20 símbolos chineses.

Os ficheiros html passaram a usar utf8 como encoding para conseguirmos ler, em qualquer lado, paginas chinesas, árabes, da Grécia ou com outra Colecção de caracteres.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .