Tenho um problema teórico onde um dono de loja quer saber qual a chance de determinada frase gerar uma venda, tenho em mãos um dicionário com 20 palavras aleatórias e 10 frases formadas por exatamente 10 palavras escolhidas aleatoriamente dentro do meu dicionário:
Dicionário de palavras :
Organizei minhas frases numa tabela e troquei as palavras por ID's para realizar um teste de classificação:
Eu testei alguns algoritmos do sklearn e o que me deu o melhor resultado foi o CART:
treino_x, valid_x, treino_y, valid_y = (model_selection.train_test_split
(x, y, test_size=valid, random_state=sementes))
pontuacao = 'accuracy'
modelos = []
modelos.append(('CART', DecisionTreeClassifier()))
resultado = []
nomes = []
for nome, modelo in modelos:
kfold = model_selection.KFold(n_splits=10, random_state=sementes)
cv_results = model_selection.cross_val_score(modelo, treino_x, treino_y, cv=kfold, scoring=pontuacao)
resultado.append(cv_results)
nomes.append(nome)
msg = "%s: %f (%f)" % (nome, cv_results.mean(), cv_results.std())
print(msg)
cart = DecisionTreeClassifier()
cart.fit(treino_x, treino_y)
predictions = cart.predict(valid_x)
print(accuracy_score(valid_y, predictions))
Com isso eu já consigo simular uma nova frase qualquer e utilizar um Cart.predict
para me dizer se essa frase é venda ou não, no entanto ao invés de apenas me retornar Venda / N eu gostaria de saber a probabilidade dessa frase ter gerado uma venda (Ex: 78%), nesse momento entra o peso de cada uma das features, como eu faço pra calcular esse peso utilizando o Python ?