3

Importei um arquivo para o Python onde reconheceu todas as palavras e preciso pegar a frequência que elas aparecem nesse texto, porém as maiores frequências são de preposições (de, para, com) e artigos (a, o, os, as).

Existe uma maneira de eliminar esse tipo de informação e trazer apenas palavras relacionas ao texto?

Segue o código que me trouxe todas palavras com frequência:

from collections import Counter
with open('arquivo.txt') as f:
    ocorrencias = Counter(f.read().split())
print (ocorrencias)
1
  • Sim, crie uma lista de preposições e artigos que gostaria de ignorar e faça o filtro das palavras ignorando-as antes de efetuar o counter.
    – Woss
    Commented 16/08/2021 às 15:16

2 Respostas 2

5

O que você está procurando chama-se "stopwords" e é um tipo de filtragem tradicionalmente usado no processamento de linguagem natural. Veja um exemplo usando o pacote nltk:

import nltk
nltk.download('stopwords')
from nltk.corpus import stopwords

sw = stopwords.words('portuguese')

text= '''
Processamento de língua natural (PLN) é uma subárea da ciência da computação, inteligência artificial e da linguística que estuda os problemas da geração e compreensão automática de línguas humanas naturais. Sistemas de geração de língua natural convertem informação de bancos de dados de computadores em linguagem compreensível ao ser humano e sistemas de compreensão de língua natural convertem ocorrências de linguagem humana em representações mais formais, mais facilmente manipuláveis por programas de computador. Alguns desafios do PLN são compreensão de língua natural, fazer com que computadores extraiam sentido de linguagem humana ou natural e geração de língua natural. 
'''

new_text = ' '.join([k for k in text.split(" ") if k not in sw])

print(new_text)

Retorna:

Processamento língua natural (PLN) subárea ciência computação, inteligência artificial linguística estuda problemas geração compreensão automática línguas humanas naturais. Sistemas geração língua natural convertem informação bancos dados computadores linguagem compreensível ser humano sistemas compreensão língua natural convertem ocorrências linguagem humana representações formais, facilmente manipuláveis programas computador. Alguns desafios PLN compreensão língua natural, fazer computadores extraiam sentido linguagem humana natural geração língua natural.

Você poderia fazer a filtragem definindo manualmente as preposições, como sugerido nos comentários, mas a chance de erro é maior.

2
  • Boa tarde, testei e é isso mesmo que quero, como eu consigo adaptar esse código no meu código mencionado lá em cima, no caso invés de puxar o "text", ler meu arquivo txt Commented 16/08/2021 às 18:00
  • En Portugués "stop word" es "palabra vacía". Es la palabra removida del texto. "Na computação, uma palavra vazia é uma palavra que é antes ou após o processamento de um texto..." en.m.wikipedia.org/wiki/Stop_word Commented 19/08/2021 às 4:17
2

Obs: se está trabalhando com processamento de linguagem natural, melhor seguir o que foi indicado na outra resposta e usar uma biblioteca específica para tal. De qualquer forma, segue uma alternativa para fazer "na mão":


Basta criar um set com as palavras a serem ignoradas, e só adicionar no Counter as palavras que não estiverem neste set:

from collections import Counter

ignorar = { 'de', 'para', 'com', 'a', 'o', 'os', 'as' }
ocorrencias = Counter()
with open('arquivo.txt') as f:
    for linha in f:
        ocorrencias.update(palavra for palavra in linha.split() if palavra not in ignorar)
print(ocorrencias)

No caso eu iterei pelo arquivo com um for, pois arquivos são objetos iteráveis, e no caso de arquivos de texto, a iteração é feita linha a linha.

E para cada linha do arquivo, eu faço o split para quebrá-la em palavras, mas só adiciono as que não estiverem no set.

Também poderia ser feita com uma lista (ignorar = [ 'de', 'para', ... ] - repare nos colchetes no lugar das chaves), mas um set é mais otimizado para buscas, se comparado com uma lista (ver mais detalhes aqui e aqui). Claro que para poucas palavras a diferença será irrisória, mas se estiver lidando com muitos dados, pode fazer diferença.

Eu optei por ler linha a linha em vez de um único f.read(), pois este carrega todo o conteúdo do arquivo para a memória e pode ser um problema caso o arquivo seja muito grande. Mas nada impede que se faça tudo de uma vez:

with open('arquivo.txt') as f:
    ocorrencias = Counter(palavra for palavra in f.read().split() if palavra not in ignorar)

Ou seja, leio todo o arquivo, separo em palavras e aplico a mesma lógica acima.


Vale lembrar ainda que dependendo de como está a frase, um simples split pode não quebrar em palavras corretamente. Por exemplo, se a frase for "Oi, tudo bem com meu bem?", o split irá quebrar em ['Oi,', 'tudo', 'bem', 'com', 'meu', 'bem?'] e portanto bem e bem? serão contabilizados como palavras diferentes.

Nesse caso, vai depender muito da sua definição de palavra: somente letras (mas e as palavras compostas, que tem hífen)? Diferencia maiúsculas e minúsculas ("Oi" e "oi" devem ser contadas juntas ou separadas)? Etc...
Sobre isso, você pode dar uma olhada aqui, aqui e aqui, ou usar o próprio nltk, que possui funcionalidades para quebrar uma frase em palavras. Uma vez tendo as palavras, basta aplicar a mesma lógica acima, de só adicionar no Counter as que não estiverem no set.

1
  • muito bom, vou testar esse método Commented 16/08/2021 às 19:03

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .