read()
pega todo o conteúdo do arquivo e retorna em uma única string. Ou seja, texts
é uma string.
Ao fazer for text in texts
você está percorrendo os caracteres de texts
, um a um. Ou seja, a cada iteração do for
, a variável text
conterá apenas um caractere. Por isso que o word_tokenize
acaba gerando tokens com apenas um caractere.
Se a ideia é tokenizar todo o texto, não faça este for
, passe toda a string de uma vez:
l = []
for file in glob.glob('C:\\Users\\User\\Desktop\\lima\\*.txt'):
texts = open(file,'r',encoding='utf-8').read()
tokenize = nltk.word_tokenize(texts, language='portuguese')
l.extend(tokenize)
print(l)
Se os arquivos forem muito grandes, não recomendo ler tudo de uma vez com read()
(pois aí estará carregando todo o conteúdo para a memória). Uma opção é ler o arquivo linha a linha, e aí sim precisa de um loop:
tokens = []
for file in glob.glob('C:\\Users\\User\\Desktop\\lima\\*.txt'):
with open(file ,'r',encoding='utf-8') as arq: # abre o arquivo
for linha in arq: # para cada linha do arquivo
tokenize = nltk.word_tokenize(linha, language='portuguese')
tokens.extend(tokenize)
print(tokens)
Repare que é diferente do seu loop: no seu, o for
itera em cada caractere da string. No meu, estou iterando por cada linha, e passando toda a linha para word_tokenize
.
Também usei with
para abrir o arquivo, pois isso garante que ele será fechado ao final (mesmo se der erro durante a leitura). E mudei o nome da lista l
para algo um pouco melhor - apesar de parecer besteira, dar nomes melhores ajuda na hora de programar (ainda mais quando esse nome é l
, que dependendo da fonte usada, pode ser facilmente confundido com 1
, I
ou |
).