Vou tentar explicar passo a passo a analise para que você possa entender o problema ou outra pessoa com o mesmo problema possa entender como resolver essas coisas.
Primeiro, vou gerar 2 vetores, target
e predicted
, que vão simular o resultado da sua classificação. Esses vetores foram criados a partir dos dados que você passou.
Primeiro, o classification_report
diz que você tem 56 mil da classe 0 e 119341 da classe 1 na sua classificação. Então vou gerar um vetor com 56 mil zeros e 119341 uns.
import nump as np
class0 = 56000
class1 = 119341
total = class0 + class1
target = np.zeros(total, dtype=np.int)
target[class0:] = np.ones(class1, dtype=np.int)
# pra provar que os valores estao certos
sum(target == 0) == class0, sum(target == 1) == class1
Com isso, tem o vetor target
, com os dados que sua classificação deveria ter acertado. Vamos gerar agora o predicted
, que vai ter o que a sua classificação reportou. Esses dados foram pegos da sua matriz de confusão.
class0_hit = 52624 # qto acertou da classe 0
class0_miss = 3376 # qto errou da classe 0
class1_miss = 45307 # qto errou da classe 1
class1_hit = 74034 # qto acertou da classe 1
predicted = np.zeros(total, dtype=np.int)
predicted[class0_hit:class0_hit + class0_miss + class1_hit] = np.ones(class0_miss + class1_hit, dtype=np.int)
# pra provar que os valores estao certos
sum(predicted == 0) == class0_hit + class1_miss, sum(predicted == 1) == class0_miss + class1_hit
Agora podemos olhar o classification report da sklearn e ver o que ele nos diz desses valores:
from sklearn.metrics import classification_report
print (classification_report(target, predicted))
precision recall f1-score support
0 0.54 0.94 0.68 56000
1 0.96 0.62 0.75 119341
avg / total 0.82 0.72 0.73 175341
Esta exatamente igual a classification report que você colou. Chegamos ao mesmo ponto que voce.
Olhando agora a matriz de confusão:
from sklearn.metrics import confusion_matrix
print (confusion_matrix(target, predicted))
[[52624 3376]
[45307 74034]]
Continua igual. Vamos olhar o que a acuracia diz:
from sklearn.metrics import accuracy_score
accuracy_score(target, predicted)
> 0.7223524446649672
Ela retorna 72%. Igualzinho o classification report. Então porque suas contas estão dando 51% na acurácia? Na sua conta esta:
(TP + TN)/total
(74034 + 52624)/(52624 + 74034 + 45307 + 74034)*100 = 51%
Se voce reparar, o valor 74.034 esta repetido 2x. Fazendo as contas usando os valores setados no codigo, ficaria assim:
acc = (class0_hit + class1_hit) / total
> 0.7223524446649672
Que bate com o valor do accuracy_score
. O calculo de precisao e de recall estão certos:
from sklearn.metrics import precision_score
precision_score(target, predicted)
> 0.9563880635576799
from sklearn.metrics import recall_score
recall_score(target, predicted)
> 0.6203567927200208
Mas porque, então, o classification_report
está retornando aqueles valores esquisitos no final? A resposta é simples e está na documentação dele.
The reported averages are a prevalence-weighted macro-average
across classes (equivalent to precision_recall_fscore_support
with average='weighted').
Ou seja, ele não faz o calculo simples, ele leva em consideração a quantidade de cada classe para calcular a média.
Vamos dar uma olhada nesse método precision_recall_fscore_support
. Ele tem um parâmetro chamado average
, usado para controlar o comportamento do calculo. Rodando ele com o o mesmo parâmetro que o classification_report
temos o mesmo resultado:
from sklearn.metrics import precision_recall_fscore_support
precision_recall_fscore_support(target, predicted, average='weighted')
> (0.8225591977440773, 0.7223524446649672, 0.7305824989909749, None)
Agora, como a sua classificação tem apenas 2 classes, o certo é pedir para ele calcular com average
binary. Trocando para binary
o parametro, temos como resultado:
precision_recall_fscore_support(target, predicted, average='binary')
> (0.9563880635576799, 0.6203567927200208, 0.75256542533456, None)
Que é exatamente o resultado que achamos usando as funções próprias do sklearn ou fazendo o calculo na mão.