1

Quando crio a lista abaixo, com os tokens de múltiplos textos .txt, o for loop tokeniza os caracteres e não as palavras propriamente ditas:

import glob
import nltk
      
l = []

for file in glob.glob('C:\\Users\\User\\Desktop\\lima\\*.txt'):
    texts = open(file,'r',encoding='utf-8').read()
        for text in texts:
            tokenize = nltk.word_tokenize(text, language='portuguese')
            l.extend(tokenize)

    print(l) 

output:

['N', 'ã', 'o', 'f', 'o', 'i', 'o', 'u', 'n', 'ã', 'o', 'é',]
etc

Já tentei com o append, mas ele cria uma lista de listas de caracteres. O que estou fazendo errado?

1
  • @jfaccioni, obrigado pela dica sobre a formatação do texto como um todo.
    – Cygnus X-1
    Commented 7/06/2021 às 12:20

1 Resposta 1

1

read() pega todo o conteúdo do arquivo e retorna em uma única string. Ou seja, texts é uma string.

Ao fazer for text in texts você está percorrendo os caracteres de texts, um a um. Ou seja, a cada iteração do for, a variável text conterá apenas um caractere. Por isso que o word_tokenize acaba gerando tokens com apenas um caractere.

Se a ideia é tokenizar todo o texto, não faça este for, passe toda a string de uma vez:

l = []

for file in glob.glob('C:\\Users\\User\\Desktop\\lima\\*.txt'):
    texts = open(file,'r',encoding='utf-8').read()
    tokenize = nltk.word_tokenize(texts, language='portuguese')
    l.extend(tokenize)

print(l) 

Se os arquivos forem muito grandes, não recomendo ler tudo de uma vez com read() (pois aí estará carregando todo o conteúdo para a memória). Uma opção é ler o arquivo linha a linha, e aí sim precisa de um loop:

tokens = []

for file in glob.glob('C:\\Users\\User\\Desktop\\lima\\*.txt'):
    with open(file ,'r',encoding='utf-8') as arq: # abre o arquivo
        for linha in arq: # para cada linha do arquivo
            tokenize = nltk.word_tokenize(linha, language='portuguese')
            tokens.extend(tokenize)

print(tokens)

Repare que é diferente do seu loop: no seu, o for itera em cada caractere da string. No meu, estou iterando por cada linha, e passando toda a linha para word_tokenize.

Também usei with para abrir o arquivo, pois isso garante que ele será fechado ao final (mesmo se der erro durante a leitura). E mudei o nome da lista l para algo um pouco melhor - apesar de parecer besteira, dar nomes melhores ajuda na hora de programar (ainda mais quando esse nome é l, que dependendo da fonte usada, pode ser facilmente confundido com 1, I ou |).

1
  • hkotsubo, muitíssimo obrigado pela gentileza de me explicar. Realmente, agora tudo ficou claro. Mais uma vez, muito obrigado!
    – Cygnus X-1
    Commented 8/06/2021 às 13:30

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .