14

Estou tentando fazer a listagem de uma pasta (arquivos, subpastas) em Python [2.7, no Windows XP], e estou tendo problemas com arquivos acentuados. Sei que o método os.listdir se comporta diferente caso o argumento seja uma string simples ou uma string unicode. Meu problema é que eu tenho arquivos codificados de maneiras diferentes:

>>> import os
>>> os.listdir('teste')
['a\xb4rvore.jpg']
>>> os.listdir(u'teste')
[u'a\u0301rvore.jpg']
>>> os.listdir('teste2')
['\xe1rvore.txt']
>>> os.listdir(u'teste2')
[u'\xe1rvore.txt']

No Windows Explorer, ambos os arquivos parecem normais: árvore.jpg e árvore.txt. Mas enquanto o segundo é listado normalmente, o primeiro dá uma mensagem de erro não importa como eu o acesse:

def imprimir(pasta):
    print pasta
    for x in os.listdir(pasta):
        sub = os.path.join(pasta, x)
        if os.path.isfile(sub):
            print sub
        else:
            imprimir(sub)

>>> imprimir('teste2')
teste2
teste2\ßrvore.txt
>>> imprimir(u'teste2')
teste2
teste2\árvore.txt

>>> imprimir('teste')
teste
teste\a┤rvore.jpg
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "teste.py", line 11, in imprimir
    imprimir(sub)
  File "teste.py", line 6, in imprimir
    for x in os.listdir(pasta):
WindowsError: [Error 3] O sistema nÒo pode encontrar o caminho especificado: 'teste\\a\xb4rvore.jpg/*.*'
>>> imprimir(u'teste')
teste
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "teste.py", line 9, in imprimir
    print sub
  File "C:\Python27\lib\encodings\cp850.py", line 12, in encode
    return codecs.charmap_encode(input,errors,encoding_map)
UnicodeEncodeError: 'charmap' codec can't encode character u'\u0301' in position 7: character maps to <undefined>

Como fazer para acessar esse outro arquivo? Não acho que ele esteja com o nome corrompido, pois a\u0301 é uma maneira válida de se produzir á. Entretanto, não sei como acessá-lo, e tenho um volume com vários arquivos nesse formato (posso evitar produzir arquivos semelhantes no futuro, mas ainda preciso processar os já existentes), acho impraticável convertê-los à mão.

1
  • Aparentemente isso é um bug na versão 2.7 da linguagem, já que o mesmo o código postado funciona perfeitamente com a versão 3.3.2 (que tenho instalado), modificando apenas a utilização da função print.
    – Zignd
    Commented 31/12/2013 às 1:15

3 Respostas 3

6

Para mim parece ser apenas um problema de codificação na hora da impressão (chamada do método print) dos nomes de arquivos/pastas.

Tente utilizar a codificação com Unicode, alterando a sua fução imprimir da seguinte forma (note a adição de .encode('utf8') ao final das linhas com chamada para print):

def imprimir(pasta):
    print pasta.encode('utf8')
    for x in os.listdir(pasta):
        sub = os.path.join(pasta, x)
        if os.path.isfile(sub):
            print sub.encode('utf8')
        else:
            imprimir(sub)

EDIT: Após reler a sua questão, acho que entendi outro ponto de dúvida. Você está usando o IDLE para testar interativamente, mas o IDLE usa outra codificação (no meu teste aqui eu havia criado um arquivo .py codificado em UTF-8, por isso não tive o mesmo problema). Para verificar a codificação do IDLE faça o seguinte:

>>> import sys
>>> sys.stdout.encoding
'cp1252'

Assim, para exibir os nomes dos arquivos corretamente, você deve usar essa mesma codificação (ou alterar a codificação default no IDLE - o que eu sinceramente não sei como fazer). Fiz o teste aqui, e com a codificação cp1252 os nomes são corretamente exibidos:

>>> def imprimir(pasta):
    print pasta.encode('cp1252')
    for x in os.listdir(pasta):
        sub = os.path.join(pasta, x)
        if os.path.isfile(sub):
            print sub.encode('cp1252')
        else:
            imprimir(sub)

>>> imprimir(u'teste')
teste
teste\árvore.jpg
>>> imprimir(u'teste2')
teste2
teste2\árvore.txt
>>> 
6
  • Eu testei e está retornando o seguinte erro onde path é uma variável com o diretório: Traceback (most recent call last): File "<pyshell#49>", line 1, in <module> imprimir(path) File "<pyshell#48>", line 8, in imprimir imprimir(sub) File "<pyshell#48>", line 2, in imprimir print pasta.encode('utf8') UnicodeDecodeError: 'ascii' codec can't decode byte 0xa6 in position 52: ordinal not in range(128)
    – Zignd
    Commented 31/12/2013 às 14:59
  • A sua variável 'path' está codificada em Unicode? Por exemplo, ao invés de fazer path = 'teste' você fez path = u'teste'? Commented 31/12/2013 às 15:57
  • Funcionou agora, mas o arquivo a┤rvore.txt virou a┤rvore.txt.
    – Zignd
    Commented 31/12/2013 às 16:17
  • Como assim "virou"? Vc quer dizer que o conteúdo interno foi alterado ou a saída do console mostrou algo diferente de 'árvore.txt'? Commented 31/12/2013 às 16:23
  • @Zignd: Acho que entendi a sua dúvida. Editei a minha resposta pra tentar incluir essa possibilidade. Commented 31/12/2013 às 16:47
5

Com base na resposta do @Luiz Vieira, e nessa pergunta no SO em inglês, consegui achar uma solução. O problema não estava no acesso ao arquivo em si, mas apenas ao imprimir seu nome na tela. O código abaixo, por exemplo, funciona normalmente:

    if os.path.isfile(sub):
        with open(sub, 'rb') as f:
            with open(sub + u'.saida', 'wb') as s:
                s.write(f.read()) # Cria uma cópia perfeita do arquivo original
    ...
imprimir(u'teste') # Cuidado: somente a versão unicode funciona, a outra dá o mesmo erro

Porém, meu IDLE está utilizando a codificação Cp850, que aparentemente não consegue imprimir corretamente caracteres combinantes. A saída portanto é normalizar o nome do arquivo de modo que o par de caracteres seja representado por um único caractere pré-composto (\u00e1):

def imprimir(pasta):
    print unicodedata.normalize('NFC', pasta)
    for x in os.listdir(pasta):
        sub = os.path.join(pasta, x)
        if os.path.isfile(sub):
            print unicodedata.normalize('NFC', sub)
        else:
            imprimir(sub)

>>> imprimir(u'teste')
teste
teste\árvore.jpg
>>> imprimir(u'teste2')
teste2
teste2\árvore.txt
0

Tive um problema semelhante com acentuação no python. Talvez isso resolva:

import sys
sys.setdefaultencoding('utf-8') # ou Latin1 ou cp1552
1
  • Obrigado pela sugestão, mas não funcionou pra mim. De acordo com a documentação, esse método não está normalmente disponível para o programador usar: "Essa função só deve ser usada pela implementação do módulo site e, quando necessário, por sitecustomize. Uma vez usada pelo módulo site, ela é removida do namespace do módulo sys."
    – mgibsonbr
    Commented 29/01/2014 às 22:27

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .