2

Tenho um df da seguinte maneira e preciso fazer um top 10 das palavras que mais se repetem em problema e dentro destas palavras selecionadas fazer o mesmo dentro da solução.

Obs: o dataframe possui mais de 20mil linhas, isso é apenas uma amostra.

inserir a descrição da imagem aqui

Código:

df.query((pd.Series('' .join(df['Problema']). split ()). value_counts ()[:10]).apply(lambda x: " ".join('' .join(df['Solucao']). split ()). value_counts () [:10]))

AttributeError: 'str' object has no attribute 'value_counts'

Esperado:
Retornar as 10 palavaras mais frequentes na coluna "Problema" e neste retorno identificar quais sao as 110 palavras mais frequentes na coluna "Solucao"

TOP 10 Problemas | TOP 10 Solucao dos problemas

      xlm  | [extrair, bug, c, d, e, f, g, g, i, j]
impressao  | [rede, parado, c, d, e, f, g, g, i, j]
        c  | [a, b, c, d, e, ..., j]
        d  | [a, b, c, d, e, ..., j]
        e  | [a, b, c, d, e, ..., j]
        f  | [a, b, c, d, e, ..., j]
        g  | [a, b, c, d, e, ..., j]
        h  | [a, b, c, d, e, ..., j]
        i  | [a, b, c, d, e, ..., j]
        j  | [a, b, c, d, e, ..., j]

1 Resposta 1

1

Como cada coluna tem uma lista, a melhor solução que eu consegui pensar foi fazer um dicionário com os problemas e iterar o dataframe. Cada problema possui um dicionário com um contador de cada solução que aparece para aquele problema. Exemplo:

dict_problema = {'problema1':{'solução1':2, 'solução2':1},
                 'problema2':{'solução2':2, 'solução3':1}}

dict_conta_problema = {'problema1':2,
                       'problema2':1}

Resalvas:

  • Não é um jeito performático
  • Provavelmente tem alguma biblioteca do python que eu não consegui lembrar (ou não conheço mesmo) que facilitaria o trabalho
  • Talvez fosse melhor usar as próprias funções do pandas
dict_problema = {}
dict_conta_problema = {}

for index, row in df.iterrows(): #percorrer cada linha do dataframe

    for problema in row['Problema']: #para cada problema da lista de problemas daquela linha

        if problema not in dict_problema: #adiciona no dicionário de problemas caso não esteja
            dict_problema.update({problema:{}})
            dict_conta_problema.update({problema:0})

        dict_conta_problema[problema] +=1 #incrementa a contagem daquele problema

        for solucao in row['Solucao']: #agora percorremos cada solução da linha
            if solucao not in dict_problema[problema]: #adiciona no dicionário de soluções caso não esteja
                dict_problema[problema].update({solucao:0})

            dict_problema[problema][solucao] +=1 #incrementa a contagem daquele solução

Agora criamos um outro dataframe com os dicionários que temos:

from collections import Counter

problema = []
solucao = []

for key, value in Counter(dict_conta_problema).most_common(10):
    problema.append(key)
    solucao.append([key for key, values in Counter(dict_problema[key]).most_common(10)])

df_top = pd.DataFrame(data={'Top Problemas': problema, 'Top Solucoes': solucao})

Edit

É possível pegar os Top 10 problemas fazendo apenas:

top_problemas = [key for key, val in Counter(reduce(lambda x,y: x+y, df['Problema'].values)).most_common(10)]

Daria pra usar essa mesma lógica para pegar as soluções mais recorrentes se partir de um dataframe filtrado para cada problema mais recorrente.

2
  • Alex, obrigada por me responder!! No caso no dicionario de problemas e solução eu não sei as propriedades para montar o dicionario. Preciso dos 10 problemas que mais se repete, e quanto tiver isso preciso saber quais são as soluções que mais se repetem. Isso é um dado dinâmico e que muda constantemente, por este motivo acredito que não seja possível eu criar um dicionario, pois precisaria de palavras fixas. Neste caso, não tenho como alimentar um dicionario. Por ventura, você conhece outra solução? Commented 5/02/2019 às 10:42
  • É muito difícil trabalhar com o ` df ` no jeito que ele está. Recomendo fazer um Pré-processamento dos dados para criar o dataframe sem listas. Uma sugestão é usar os Problemas isolados como Index e cada coluna como uma solução. Os valores do df seriam o número de ocorrências da solução no problema.
    – AlexCiuffa
    Commented 6/02/2019 às 3:09

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .