1

Estou tentando aplicar o algoritimo do NMF num csv e depois extrair as frases ligadas a cada topico

import pandas
from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.decomposition import NMF

def display_topics(model, feature_names, no_top_words):
    for topic_idx, topic in enumerate(model.components_):
        print "Topic %d:" % (topic_idx)
        print " ".join([feature_names[i]
                    for i in topic.argsort()[:-no_top_words - 1:-1]])

textos = pandas.read_csv('teste_nmf.csv', encoding = 'utf-8')
textos_limpos = textos['frase_limpa']
textos_bruts = textos['frase_brut']
textos_bruts_list = textos_bruts.values.tolist()
textos_limpos_list = textos_limpos.values.tolist()

tfidf_vectorizer = TfidfVectorizer()
tfidf = tfidf_vectorizer.fit_transform(textos_limpos_list)
tfidf_feature_names = tfidf_vectorizer.get_feature_names()


#n_components: numero de topicos
nmf = NMF(n_components = 2, random_state = 1, alpha = .1, l1_ratio = .5, init = 'nndsvd').fit(tfidf)


#Numero de palavras por topico
no_top_words = 2

#Visualizaçao dos topicos com as palavras
print 'NMF'
topics = display_topics(nmf, tfidf_feature_names, no_top_words)
print topics

#extrair frases ligadas aos topicos
for topic in range(len(topics)): #TypeError: object of type 'NoneType' has no len()
    print "Topic {}:".format(topic)
    docs = np.argsort(document_topics[:, topic])[::-1]
    for text in docs[:3]:
        text_brut = " ".join(textos_bruts_list[text].split(",")[:2])
        print " ".join(textos_limpos_list[text].split(",")[:2]) + ',' + text_brut

Um exemplo (tosco) de dataset:

frase_limpa,frase_brut
manga fruta gostosa,a manga é uma fruta gostosa  
computador objeto importante,o computador é um objeto importante
banana fruto popular,a banana é um fruto popular
lapis coisa importante,o lapis é uma coisa importante
uva roxa,a uva é roxa
telefone objeto mundial,o telefone é um objeto mundial

Meu resultado:

NMF

Topic 0:

importante objeto

Topic 1:

uva roxa

None

Traceback (most recent call last): File "teste_NMF.py", line 55, in for topic in range(len(topics)): #TypeError: object of type 'NoneType' has no len()

TypeError: object of type 'NoneType' has no len()

O que eu esperava mais ou menos:

Topic 0:

importante objeto

Topic 1:

uva roxa

Topic 0:

computador objeto importante,o computador é um objeto importante

telefone objeto mundial,o telefone é um objeto mundial

lapis coisa importante,o lapis é uma coisa importante

Topic 1:

uva roxa,a uva é roxa

0

3 Respostas 3

2

O problema é que a função display_topics não possui uma cláusula return nem yield, logo ela sempre vai retornar None todas as vezes.

topics = display_topics(nmf, tfidf_feature_names, no_top_words)

Significa que a variável topics é None pois é isso que a display_topics() retorna.

for topic in range(len(topics)): 

Tenta calcular o len() de topics que é None por isso você tem o erro.

3
  • Mas como eu poderia resolver isso?
    – marin
    17/09/2018 às 8:45
  • 1
    @marin Isso depende da sua lógica... Por exemplo, retornar alguma coisa em display_topics - se você coloca um return [] ao final, ela retornará uma lista vazia, e assim não dará erro, pois len([]) é 0. Eu não entendo direito o que você está escrevendo: Criou uma função com o prefixo display_ que significa "exibir", semanticamente ela deveria exibir os tópicos e finalizar, porém você está tentando pegar o retorno dela em uma outra parte do código!! Será que ela deveria se chamar format_topics? Ou você deve pegar o que precisa de outro lugar? Ou converter em 2 funções separadas?
    – nosklo
    17/09/2018 às 15:10
  • 1
    @marin Resumindo, você tem que saber o que quer fazer com essa parte do código, para arrumá-lo. Porém a sua pergunta está respondida.
    – nosklo
    17/09/2018 às 15:11
2

Sua função display_topics() não possui um return. Você precisa acrescentar um return a ela com a lista a ser retornada.

-1

Como já foi dito, falta um return em display_topics. Seu erro é bem comum, pois esperava que as mudanças em display_topics tivessem efeito fora da função, isso se chama escopo.

0

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .