2

Modelo: regressão logística com sklearn.

Resolvi comparar os resultados mostrados no classification_report, calculando-os utilizando a matriz de confusão mas aparentemente os resultados não batem:

classification_report:

precision    recall  f1-score   support

      0       0.54      0.94      0.68     56000
      1       0.96      0.62      0.75    119341

avg / total 0.82 0.72 0.73 175341

Matriz de confusão gerada:

    [52624  3376]
   [45307 74034]]

Meus cálculos baseados na matriz de confusão acima:

Quanto em média o modelo acerta (acurácia)?

(TP + TN)/total

(74034 + 52624)/(52624 + 74034 +45307 + 74034)*100 = 51%

Qual a precisão do modelo (razão entre o número de TP e e a soma dos TP e FP)?

74034/(74034 + 3376)*100 = 95%

Qual o Recall R do modelo (razão entre o número de TP e a soma de TP e FN)

74034/(74034 + 45307)*100 = 62%

Como podemos ver, recall e precision não batem. O que está errado? Como interpretar os resultados? O que representam f1-score e support?

1 Resposta 1

3
+50

Vou tentar explicar passo a passo a analise para que você possa entender o problema ou outra pessoa com o mesmo problema possa entender como resolver essas coisas.

Primeiro, vou gerar 2 vetores, target e predicted, que vão simular o resultado da sua classificação. Esses vetores foram criados a partir dos dados que você passou.

Primeiro, o classification_report diz que você tem 56 mil da classe 0 e 119341 da classe 1 na sua classificação. Então vou gerar um vetor com 56 mil zeros e 119341 uns.

import nump as np

class0 = 56000 
class1 = 119341
total = class0 + class1

target          = np.zeros(total, dtype=np.int)
target[class0:] = np.ones(class1, dtype=np.int)

# pra provar que os valores estao certos
sum(target == 0) == class0, sum(target == 1) == class1

Com isso, tem o vetor target, com os dados que sua classificação deveria ter acertado. Vamos gerar agora o predicted, que vai ter o que a sua classificação reportou. Esses dados foram pegos da sua matriz de confusão.

class0_hit  = 52624 # qto acertou da classe 0
class0_miss = 3376 # qto errou da classe 0
class1_miss = 45307 # qto errou da classe 1
class1_hit  = 74034 # qto acertou da classe 1

predicted = np.zeros(total, dtype=np.int)

predicted[class0_hit:class0_hit + class0_miss + class1_hit] = np.ones(class0_miss + class1_hit, dtype=np.int)

# pra provar que os valores estao certos
sum(predicted == 0) == class0_hit + class1_miss, sum(predicted == 1) == class0_miss + class1_hit

Agora podemos olhar o classification report da sklearn e ver o que ele nos diz desses valores:

from sklearn.metrics import classification_report
print (classification_report(target, predicted))

             precision    recall  f1-score   support

          0       0.54      0.94      0.68     56000
          1       0.96      0.62      0.75    119341

avg / total       0.82      0.72      0.73    175341

Esta exatamente igual a classification report que você colou. Chegamos ao mesmo ponto que voce.

Olhando agora a matriz de confusão:

from sklearn.metrics import confusion_matrix
print (confusion_matrix(target, predicted))

[[52624  3376]
 [45307 74034]]

Continua igual. Vamos olhar o que a acuracia diz:

from sklearn.metrics import accuracy_score
accuracy_score(target, predicted)
> 0.7223524446649672

Ela retorna 72%. Igualzinho o classification report. Então porque suas contas estão dando 51% na acurácia? Na sua conta esta:

(TP + TN)/total
(74034 + 52624)/(52624 + 74034 + 45307 + 74034)*100 = 51%

Se voce reparar, o valor 74.034 esta repetido 2x. Fazendo as contas usando os valores setados no codigo, ficaria assim:

 acc = (class0_hit + class1_hit) / total
 > 0.7223524446649672

Que bate com o valor do accuracy_score. O calculo de precisao e de recall estão certos:

from sklearn.metrics import precision_score
precision_score(target, predicted)
> 0.9563880635576799

from sklearn.metrics import recall_score
recall_score(target, predicted)
> 0.6203567927200208

Mas porque, então, o classification_report está retornando aqueles valores esquisitos no final? A resposta é simples e está na documentação dele.

The reported averages are a prevalence-weighted macro-average across classes (equivalent to precision_recall_fscore_support with average='weighted').

Ou seja, ele não faz o calculo simples, ele leva em consideração a quantidade de cada classe para calcular a média.

Vamos dar uma olhada nesse método precision_recall_fscore_support. Ele tem um parâmetro chamado average, usado para controlar o comportamento do calculo. Rodando ele com o o mesmo parâmetro que o classification_report temos o mesmo resultado:

from sklearn.metrics import precision_recall_fscore_support
precision_recall_fscore_support(target, predicted, average='weighted')
> (0.8225591977440773, 0.7223524446649672, 0.7305824989909749, None)

Agora, como a sua classificação tem apenas 2 classes, o certo é pedir para ele calcular com average binary. Trocando para binary o parametro, temos como resultado:

precision_recall_fscore_support(target, predicted, average='binary')
> (0.9563880635576799, 0.6203567927200208, 0.75256542533456, None)

Que é exatamente o resultado que achamos usando as funções próprias do sklearn ou fazendo o calculo na mão.

1
  • Qual a interpretação da matriz de confusão, por favor? Quero ver se entendi direito!
    – Ed S
    Commented 6/07/2018 às 0:46

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .