2

Tenho este ficheiro de texto que é processado para tirar maiúsculas e esta parte faz corretamente.

olá meu nome é meu nome pois eu olá
é meu nome walt não disney
olá

Depois tenho esta função que deve ser capaz de calcular a frequência de cada palavra (e faz isso como deve). E depois deve ordenar a lista dataFreq e fazer o calculo de qual a probabilidade de determinada palavra surgir no texto. Ou seja, desta forma: frequenciaPalavra/totalPalavras

def countWordExact(dataClean):

    count = {}
    dataFreq = []
    global total

    for word in dataClean.splitlines():
        for word in word.split(" "):
            if word in count:
                count[word] += 1
            else:
                count[word] = 1
            total += 1

    dataFreq.append(count)

    freq = []

    for indice in sorted(count, key=count.get):
        #print(count[indice])
        freq.append((count[indice])/total)
    #print(freq)

    return dataFreq

A minha duvida é: como ordenar o dicionario (consecutivamente a lista) e adicionar a esta os valores resultantes do calculo da frequencia indicado acima? Dou o exemplo:

[{'olá': 0.12, 'meu': 0.12, 'nome': 0.132, 'é': 0.12321, 'pois': 0.56, 'eu': 0.65, 'walt': 0.7, 'não': 0.7, 'disney': 0.5}]

(os valores da frenquencia acima estão errados)

1 Resposta 1

2

Toda a lógica de calcular a frequência já está implementada nativamente no Python em collections.Counter, a única coisa que precisará fazer é dividir a frequência que a palavra aparece no texto pela quantidade total de palavras:

from collections import Counter

texto = """
olá meu nome é meu nome pois eu olá
é meu nome walt não disney
olá
"""

palavras = texto.split()
frequencias = Counter(palavras)
# Counter({'olá': 3, 'meu': 3, 'nome': 3, 'é': 2, 'pois': 1, 'eu': 1, 'walt': 1, 'não': 1, 'disney': 1})

Para calcular a porcentagem:

total = len(palavras)
probabilidades = {}

for palavra, frequencia in frequencias.items():
    probabilidades[palavra] = frequencia/total

print(probabilidades)

Resultando em:

{'olá': 0.1875, 'meu': 0.1875, 'nome': 0.1875, 'é': 0.125, 'pois': 0.0625, 'eu': 0.0625, 'walt': 0.0625, 'não': 0.0625, 'disney': 0.0625

Ou na forma resumida:

probabilidades = {palavra: frequencia/total for palavra, frequencia in frequencias.items()}
2
  • thx, otimizou meu código. Mas como guardo esse último print?
    – Walt057
    Commented 15/12/2018 às 16:59
  • @Walt057 Editei a resposta construindo um dicionário de probabilidades
    – Woss
    Commented 15/12/2018 às 17:11

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .