1

Eu estou estudando Unicode e encodings. Eu entendi até agora que Unicode é uma estrutura chave-valor em que cada caractere é representado por um número. Exemplo:

import string

alphabet=list(string.ascii_lowercase)

for letter in alphabet:
    print(letter,":",ord(letter))

Retorna:

a : 97
b : 98
c : 99
d : 100
e : 101
f : 102
g : 103
h : 104
i : 105
j : 106
k : 107
l : 108
m : 109
n : 110
o : 111
p : 112
q : 113
r : 114
s : 115
t : 116
u : 117
v : 118
w : 119
x : 120
y : 121
z : 122

Já o encoding é algo completamente diferente. Trata-se da transformação de uma string em bytes. Essa transformação pode se basear em diversas estruturas de chave-valor que podem ou não ter a chave correspondente ao valor desejado. O caractere ä pode ser transformado em bytes usando o codec latin-1, mas gera um erro se o codec utilizado for ascii.

Ocorre que gostaria de recuperar o valor binário de um caractere em um codec específico, mas não estou conseguindo porque o Python sempre imprime o caractere no lugar do byte quando o caractere existe em ASCII. Exemplo:

"a".encode("latin-1")

Retorna:

b'a'

Quando na verdade eu esperava ver 11100001 que, pelo que li, é o código binário de a no codec latin-1.

Note que, quando o caractere não existe em ASCII, o Python imprime o hexadecimal (que posso depois converter em binário):

café.encode("latin-1")

Retorna:

b'caf\xe9'

Como faço para fazer o Python imprimir o código binário (ou hexadecimal) correspondente ao caractere em vez do caractere em ASCII?

3
  • alguma sugestão de como posso melhorar minha pergunta?
    – Lucas
    Commented 28/04/2021 às 13:21
  • 2
    Está equivocado esse conceito de que Unicode é uma estrutura chave-valor onde caractere é representado por um número. Unicode é um banco de dados dividido em 16 code planes separados em um total de 163 blocos de code points catalogando informações como nome esquemático, categoria , joining type,.... Em python esse banco de dados é acessado pelo módulo unicodedata normatizado pelo padrão Unicode. Commented 28/04/2021 às 15:04
  • 2
    Só pra ser pedante, o Unicode vai muito além do mapeamento "caractere→número", já que também define regras de collation (ordem alfabética de acordo com o locale), separação silábica e outras formas de quebra de texto e muito mais. Mas claro que, para o contexto da pergunta - e até para simplificação didática - não é "errado" dizer que ele define um grande "tabelão" que mapeia cada caractere para um número (sendo que os planos e blocos seriam "apenas" sub-divisões desse "tabelão") :-) Ver aqui para mais detalhes. cc @AugustoVasques
    – hkotsubo
    Commented 28/04/2021 às 18:05

1 Resposta 1

2

O método encode retorna uma instância de bytes. E um objeto do tipo bytes, segundo a documentação é uma sequência de números, cujos valores estão no intervalo entre 0 e 255.

E um número não "está" em um formato específico, ou em determinada base. É claro que no fim das contas, tudo acaba virando um monte de bytes, mas a forma como esses bytes são interpretados e exibidos varia conforme a situação.

O número 97, por exemplo, pode ser interpretado como a letra "a" (se considerarmos a tabela ASCII), ou como o próprio valor numérico 97 (que por sua vez pode ser escrito como 61 em hexadecimal, ou 01100001 em binário, ou 141 em octal, ou 97.0, 00097, 97,00, etc). Ou ele ainda poderia ser um código específico que varia conforme o contexto (por exemplo, poderia representar o código de uma cor em RGB). Ou seja, os bits seriam os mesmos, mas a forma como eles são exibidos pode variar.

No caso específico de um objeto bytes, ao ser impresso, os valores que correspondem a caracteres ASCII imprimíveis são mostrados como os próprios caracteres, e outros valores são mostrados em hexadecimal, com o prefixo \x. Essa foi a escolha da linguagem para exibir os valores quando estes fazem parte de um objeto bytes.

Se você quer outro formato, terá que formatar você mesmo. Duas opções são usar f-string (a partir do Python 3.6) ou bin. Exemplo:

for b in "café".encode("latin-1"):
    print(f'{b:08b}  {bin(b)}')

A diferença é que bin coloca o prefixo 0b e não preenche com zeros à esquerda. A saída para o código acima será:

01100011  0b1100011
01100001  0b1100001
01100110  0b1100110
11101001  0b11101001

Claro que uma vez escolhida a maneira de formatar, você pode construir a string da forma que bem entender. Por exemplo:

# 01100011 01100001 01100110 11101001
print(' '.join(f'{b:08b}' for b in "café".encode("latin-1")))

Para versões anteriores a 3.6 você pode usar '{:08b}'.format(b) no lugar de f'{b:08b}'.


Outra opção, se quiser tudo junto, é converter o objeto bytes para hexadecimal (usando o método hex), depois converter para int e por fim passar esse número para bin:

# 1100011011000010110011011101001
print(bin(int("café".encode("latin-1").hex(), 16))[2:])

E ainda usei o slice [2:] para remover o prefixo 0b. Mas creio que unir tudo com join me parece mais simples do que converter para hexadecimal, para depois converter para int, para depois converter para binário.


Já para converter para hexadecimal, bastaria trocar a formatação, ou então usar hex diretamente:

encoded = "café".encode("latin-1")
print(encoded.hex()) # 636166e9

# a partir do Python 3.8, você pode escolher o separador
print(encoded.hex(' ')) # 63 61 66 e9
print(encoded.hex('-')) # 63-61-66-e9

# para versões anteriores a 3.8, você pode usar join para ter o separador
print('-'.join(f'{b:02x}' for b in encoded)) # 63-61-66-e9
print('-'.join(f'{b:02X}' for b in encoded)) # 63-61-66-E9

A diferença é que hex sempre coloca os dígitos de a a f como letras minúsculas, enquanto que usando f-string você pode escolher tanto minúsculas quanto maiúsculas (usando o formato x ou X). Leia a documentação para saber mais sobre as opções de formatação.


Por fim, vale lembrar que sempre é possível pegar o valor de cada byte individualmente, obtendo o seu respectivo valor numérico:

encoded = "café".encode("latin-1")
print(encoded[1]) # 97
print(type(encoded[1])) # <class 'int'>

E uma vez tendo esse número, você pode formatá-lo como quiser (usando f-string, por exemplo).

E repare como o número exibido individualmente é mostrado como o valor numérico 97, não mais como o caractere ASCII a, o que mostra que de fato o tipo muda a forma como o byte é interpretado e exibido. O fato deste valor estar dentro de um objeto bytes não faz com que ele "fique na base 2", por isso ele não satisfez a sua expectativa de que ele fosse exibido em binário.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .