4

Tenho um arquivo que está completamente escrito assim após o meu crawler também escrito em Python ter salvo os dados nele:

b'N\xc3\xa3o n\xc3\xa3o n\xc3\xa3o, n\xc3\xb3s iremos sim!' Gostaria de saber se existe alguma maneira de eu conseguir tirar o encoding deste arquivo e passar para Unicode o mais rápido o possível! Se possível sem ter de instalar nenhum programa para não atrapalhar na performance do meu crawler e na minha execução deste serviço.

Já tentei utilizar bytes.encode e depois bytes.decode, mas, como era de se esperar, ele volta para o estado inicial, e também percebi que as strings não tem nenhum comando de decoding.

3
  • O seu arquivo em Python está com os caracteres especias em hexadecimal (\xc3\xa3o), e vc quer escrevê-los normalmente, é isso? 20/04/2016 às 22:05
  • Sim @BrumazziDB eu preciso tirar estes caracteres e substituí-los pelas versões unicode deles, só que meu arquivo tem mais de 140 mil linhas assim, então precisava de alguma solução em python! 20/04/2016 às 22:06
  • Não tem como decodificar o conteúdo desse arquivo, parece que foi escrito dessa maneiro por sacanagem, todo o conteúdo está estruturado para ser usado como string em python, o você terá que ler o arquivo e usar o replace para substituir as sequencias hexadecimais e as aspas – Brumazzi DB 1 hora atrás editar 21/04/2016 às 2:19

2 Respostas 2

2

O "b'" de prefixo na representação do seu objeto mostra que o texto que você tem nesse ponto do seu programa é um objeto bytes, não uma string de texto.

Em Python 3 as duas coisas são diferentes - já que desde que inventaram codificações multi-byte de texto, não se pode dizer que um byte é um caractére.

O fluxo normal de trabalho em qualquer aplicação em Python é:

  1. pegar seus dados de entrada;
  2. se a biblioteca uq entregou seus dados já não os entregou como texto, isso é, se são bytes, decodifica-los (decode) para que se tornem texto
  3. processar seus dados
  4. codifica-los novamente (encode ) e escreve-los na saída (se isso não for feito automaticamente - como acontece com arquivos de texto, por exemplo)

Então no seu caso, supondo-se que o objeto que você mostrou aí esteja na variável a, para continuar o seu programa é só decodificar esses bytes para texto (objeto do tipo str) em Python 3 e continuar seu programa:

a = b'N\xc3\xa3o n\xc3\xa3o n\xc3\xa3o, n\xc3\xb3s iremos sim!'
b = a.decode("utf-8")
print(b)

No caso, eu sei que a codificaão é utf-8 de olhar a codificação: dois bytes para um caractére acentuado, e o primeiro sendo "\xc3" é uma boa dica de que os bytes representam texto codificado em utf-8.

Uma coisa essencial para entender é a diferença entre texto (str em Python 3) que é composto por caractéres unicode, e bytes, que são sequências de números entre 0 e 255 efetivamente guardadas em arquivos ou trasmitidas pela rede. Para isso, não deixe de ler:

http://local.joelonsoftware.com/wiki/O_M%C3%ADnimo_Absoluto_Que_Todos_os_Programadores_de_Software_Precisam,_Absolutamente,_Positivamente_de_Saber_Sobre_Unicode_e_Conjuntos_de_Caracteres_(Sem_Desculpas!)

0

Uma coisa ruim em Python é trabalhar com string, játive muita dor de cabeça com unicode e utf-8.

Indo ao que interessa. Em linguagens interpretadas, costuma se usar comentários de cabeçalho para "configurações" (Não fazer configuração do sistema).

Em Python, normalmente a primeira linha é reservada para o executável.

#!/usr/bin/python

ou

#!/usr/bin/env python

E a segunda linha costuma guardar informações de codificação:

#*-* coding: utf-8 *-*
#*-* coding: latin-1 *-*

Use apenas um deles!

Os trechos *-*, não deveriam ser necessários, mas nunca usei sem eles, então não posso dizer se vai fazer diferença.

Com essa linha, você pode usar caracteres especiais no seu código.

print "maçã é maçã!"

Caso queira usar unicode, pode usar o método unicode, para converter seus bytes.

uni_str = unicode("maçã", "utf-8")

Mas de qualquer jeito deve ter a linha de codificação obrigatoriamente em todos os arquivos!

10
  • Mas qual seria a solução para Python 3? 20/04/2016 às 22:31
  • @ViniciusMesel. Como foi dito na resposta coloque a codificação no arquivo #*-* coding: utf-8 *-* na segunda linha do arquivo, independente da versão do python, com isso você irá usar os caracteres especiais normalmente 20/04/2016 às 22:38
  • Amigo, mas o decoding não é de meu código e sim de meu arquivo que o meu código processa, como está no título da pergunta! 20/04/2016 às 22:42
  • 1
    Voto negativo por não saber como trabalhar com streams de bytes e texto em unicode e tentar culpar a linguagem por isso.
    – jsbueno
    22/04/2016 às 20:09
  • 1
    A propósito, o problema não tem nada a ver com a declaração de codificação do arquivo de código fonte que é o que muda quando se colocam as marcações do tipo #*-* coding: utf-8 *-* no começo do arquivo - isso apenas indica para o parser do Python a codificação do programa em si, e não dos dados que ele trata - e em Python 3 é utf-8 por padrão (ao contrário de Python 2 em que é ASCII por padrão)
    – jsbueno
    22/04/2016 às 20:19

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .