Obs: se está trabalhando com processamento de linguagem natural, melhor seguir o que foi indicado na outra resposta e usar uma biblioteca específica para tal. De qualquer forma, segue uma alternativa para fazer "na mão":
Basta criar um set
com as palavras a serem ignoradas, e só adicionar no Counter
as palavras que não estiverem neste set
:
from collections import Counter
ignorar = { 'de', 'para', 'com', 'a', 'o', 'os', 'as' }
ocorrencias = Counter()
with open('arquivo.txt') as f:
for linha in f:
ocorrencias.update(palavra for palavra in linha.split() if palavra not in ignorar)
print(ocorrencias)
No caso eu iterei pelo arquivo com um for
, pois arquivos são objetos iteráveis, e no caso de arquivos de texto, a iteração é feita linha a linha.
E para cada linha do arquivo, eu faço o split
para quebrá-la em palavras, mas só adiciono as que não estiverem no set
.
Também poderia ser feita com uma lista (ignorar = [ 'de', 'para', ... ]
- repare nos colchetes no lugar das chaves), mas um set
é mais otimizado para buscas, se comparado com uma lista (ver mais detalhes aqui e aqui). Claro que para poucas palavras a diferença será irrisória, mas se estiver lidando com muitos dados, pode fazer diferença.
Eu optei por ler linha a linha em vez de um único f.read()
, pois este carrega todo o conteúdo do arquivo para a memória e pode ser um problema caso o arquivo seja muito grande. Mas nada impede que se faça tudo de uma vez:
with open('arquivo.txt') as f:
ocorrencias = Counter(palavra for palavra in f.read().split() if palavra not in ignorar)
Ou seja, leio todo o arquivo, separo em palavras e aplico a mesma lógica acima.
Vale lembrar ainda que dependendo de como está a frase, um simples split
pode não quebrar em palavras corretamente. Por exemplo, se a frase for "Oi, tudo bem com meu bem?", o split
irá quebrar em ['Oi,', 'tudo', 'bem', 'com', 'meu', 'bem?']
e portanto bem
e bem?
serão contabilizados como palavras diferentes.
Nesse caso, vai depender muito da sua definição de palavra: somente letras (mas e as palavras compostas, que tem hífen)? Diferencia maiúsculas e minúsculas ("Oi" e "oi" devem ser contadas juntas ou separadas)? Etc...
Sobre isso, você pode dar uma olhada aqui, aqui e aqui, ou usar o próprio nltk
, que possui funcionalidades para quebrar uma frase em palavras. Uma vez tendo as palavras, basta aplicar a mesma lógica acima, de só adicionar no Counter
as que não estiverem no set
.