Ao usar o comando script nomearquivo.txt passa a ser gravado no aquivo criado tudo que é gerado no terminal, porém ao salvar, o texto fica encodificado em vários pontos, pontos que eu precisava ler por um outro projeto que estou trabalhando.
2 Respostas
(atenção: o exemplo específico da pergunta não é um problema de encoding - esta resposta é para este exemplo. Para problemas de encoding ver a respota do @LEo)
No caso, não é um problema de encoding: Os caracteres que você está vendo como quadradinhos são o caractere "ESC" (código ASCII 27/0x1b/033 - exatamente o que é gerado pela tecla com o mesmo nome)
O que acontece é que no terminal, esse caractere é usado como prefixo para as sequências ANSI, que permitem que o texto no terminal apareça colorido, em negrito, ou até mesmo que o cursor seja reposicionado, etc...
Quando essas sequências são mandadas para o terminal, o programa de terminal "consome" o ESC e os demais caracteres da sequencia, e muda a cor, etc... No entanto, quando são mandados para um arquivo, os caracteres são gravados como chegam, na integra.
Se você mandar imprimir esse arquivo gerado no terminal (cat nomearquivo.txt
), vai ver que ele não só fica legível, mas todo o texto que foi gerado colorido pelos comandos originais vai aparecer colorido no terminal. O editor de textos que você está usando nao reconhece as sequências (na verdade, não conheço nenhum que use as sequências ANSI para permitir ediçao de arquivos .txt com cores) - e elas são exibidas na integra.
Todas as mais comuns delas tem o formato de "ESC[<;numero>..." (No caso o "abre colchete" [
é literal, esse caractere mesmo, não uma representação de um trecho opcional).
Isso permite que seja criada uma expressão regular que possa filtrar essas sequências e deixar só o texto. Note que outros caracteres de controle, como "\x08" (backspace) ou "\x0d" (carreiage return) ainda podem ficar - essas sequências são parecidas com as ANSI, e são usadas para voltar o cursor na mesma linha, para, por exemplo, atualizar barras ou porcentagens de progresso sem mudar de linha.
Dito isso, o comando abaixo pode ser usado direto no temrminal para filtrar as sequências ANSI. (Usei Python em vez de sed
mais curto um pouco nesses casos, por que não sei representar o caracter "ESC" na linha de comando para o sed
- em Python a expressão regular fica dentro de uma string, e qualquer caractere pode ser representado usando \x
ou \u
para escape):
python3 -c "import re;print(re.sub(r'\x1b+\[[\d;]*?[a-zA-Z]', '', open('nomearquivo.txt').read()))" > arquivo_corrigido.txt
Um programa está escrevendo um arquivo usando uma determinada codificação e outro programa está lendo usando outra codificação. Não existe marcação no arquivo para indicar qual o tipo de codificação que foi utilizada. O que é possível fazer é um chute educado. Utilize o file
para verificar qual é a codificação do arquivo gerado. Exemplo:
$ file 001.txt
001.txt: ASCII text
$ file 002.txt
002.txt: UTF-8 Unicode text
O programa que irá ler o arquivo deve ler usando a codificação em que o arquivo foi escrito. Suponha que seu arquivo tenho sido escrito usando UTF-8 e seu programa está lendo usando a codificação ISO 8859-1. Você pode converter de uma codificação para a outra usando o iconv
.
$ iconv -f UTF-8 -t ISO8859-1 002.txt > 002_iso.txt
$ file 002_iso.txt
002_iso.txt: ISO-8859 text
Dependendo do caso pode ser necessário utilizar a opção TRANSLIT
, quando um caractere não pode ser representado na codificação alvo, utilizar esta opção fará com esquetes caracteres sejam mapeados nos caracteres visualmente mais próximos.
$ iconv -f UTF-8 -t ISO8859-1//TRANSLIT 002.txt > 002_iso.txt
-
Os conceitos e comandos que você coloca nessa resposta estão bem legais - mas o problema dessa questão em particular não tem a ver com encoding - e sim, com inclusão de sequências ANSI no arquivo. Essa resposta no entanto pode ser bem legal para mais pessoas chegando aqui - se você adicionar uma nota que nesse caso específico o problema não era encoding, essa resposta poderia ajudar ainda mais gente!– jsbuenoCommented 13/12/2019 às 14:50