O objetivo de realizar testes com um classificador é verificar a sua qualidade em prever a classificação para um ou mais novos exemplos de dados do domínio de problema de interesse (não sei o quanto você conhece do assunto, mas se julgar interessante sugiro ler esta minha outra resposta para um exemplo didático que introduz o assunto de classificação).
Esse teste geralmente é realizado da seguinte forma:
- O classificador é treinado com um conjunto de dados chamado de dados de treinamento, gerando um modelo (também chamado de classificador ou preditor).
- Então, o modelo gerado é executado com um conjunto de dados dados chamado de dados de teste no qual já se conhece o resultado da classificação para cada exemplo (isto é, já se sabe a qual classe cada vetor de características pertence).
- O resultado da previsão do modelo é então comparado com o resultado correto (aquele que já se sabe como correto) para verificar as quantidades de acertos e erros. A partir desses números se extrai uma indicação da qualidade do modelo gerado.
O problema é que nem sempre se tem uma quantidade de dados suficientemente grande para separar em dados de treinamento e teste. O "mundo real" é vasto, e coletar muitos dados diversificados pode ser custoso e as vezes até mesmo inviável. E testar com todos os dados usados no treinamento é inútil, já que ele sempre vai acertar as "previsões" (afinal, foi treinado com aquele conjunto de dados).
O exemplo de código a seguir demonstra esse tipo de teste, e apenas para servir de ajuda calcula o score (o percentual de acertos) e exibe a matriz de confusão (que mostra em uma escala visual as quantidades de acertos e erros entre as diferentes classes). Como você, eu também usei o banco de dados clássico (de dados de orquídeas) Iris Dataset para os testes.
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import confusion_matrix
##################################################
# Função auxiliar para a construção dos gráficos
# com a matriz de confusão.
##################################################
def plot_cm(cm, cm_norm):
plt.figure()
plt.title(u'Matriz de Confusão')
a = plt.subplot(121)
a.set_title(u"Matriz de Confusão Regular", fontsize=18)
plt.imshow(cm, interpolation='nearest', cmap=plt.cm.Blues)
plt.colorbar(fraction=0.046, pad=0.04)
tick_marks = np.arange(len(iris.target_names))
plt.xticks(tick_marks, iris.target_names, rotation=45)
plt.yticks(tick_marks, iris.target_names)
plt.ylabel(u'Classe Verdadeira', fontsize=16)
plt.xlabel(u'Classe Estimada', fontsize=16)
b = plt.subplot(122)
b.set_title(u"Matriz de Confusão Normalizada", fontsize=18)
plt.imshow(cm_norm, interpolation='nearest', cmap=plt.cm.Blues)
plt.colorbar(fraction=0.046, pad=0.04)
plt.xticks(tick_marks, iris.target_names, rotation=45)
plt.yticks(tick_marks, iris.target_names)
plt.ylabel(u'Classe Verdadeira', fontsize=16)
plt.xlabel(u'Classe Estimada', fontsize=16)
plt.tight_layout()
plt.show()
##################################################
# Importa o banco de dados Iris
iris = datasets.load_iris()
# Define os dados de interesse para o problema
# X é o vetor de Características (no seu exemplo, você chamou de "features")
# Y é o vetor de Classes (no seu exemplo, você chamou de "labels")
X = iris.data
Y = iris.target
# Instancia o algoritmo desejado (no caso, uma Árvore de Decisão)
model = DecisionTreeClassifier()
# Treina o modelo com base EM TODOS os dados de treinamento
model.fit(X, Y)
# Verificação do modelo treinado (estimação das classes a partir das características)
Y_pred = model.predict(X)
# Imprime o score
score = model.score(X, Y)
print(u"Score: {0:.2f}").format(score)
# Cria a matriz de confusão regular e normalizada
cm = confusion_matrix(Y, Y_pred)
cm_norm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis]
# Imprime as matrizes de confusão
np.set_printoptions(precision=2)
print(u'Matriz de Confusão Regular')
print(cm)
print(u'Matriz de Confusão Normalizada')
print(cm_norm)
# Plota as matrizes em um gráfico
plot_cm(cm, cm_norm)
O resultado desse código é o seguinte:
Score: 1.00
Matriz de Confusão Regular
[[50 0 0]
[ 0 50 0]
[ 0 0 50]]
Matriz de Confusão Normalizada
[[ 1. 0. 0.]
[ 0. 1. 0.]
[ 0. 0. 1.]]
E o seguinte gráfico:
Como esperado, observa-se um score igual a 1
(100% de acerto) e uma matriz de confusão homogênea (sem confusão alguma na verdade), pois todos os exemplos de todas as classes foram corretamente estimados (as quantidades de dados se concentram nos quadrantes em que classe verdadeira é igual a classe estimada).
Já que testar com os dados de treinamento é inútil, há de ser utilizar parte dos dados para treinamento e outra parte para os testes. Quando se tem uma quantidade pequena de dados, dividir arbitrariamente em 80% para treinamento e 20% para testes (por exemplo) é complicado porque pode gerar erros significativos no modelo. Afinal, e se os exemplos mais relevantes das classes ficaram justamente naqueles 20% que não foram usados para treinar o classificador?
Assim, existem algumas abordagens que procuram auxiliar com essa dificuldade. A validação cruzada com o método K-Fold é uma delas. A ideia é dividir a massa de dados disponível em k
partições (os tais "folds") e realizar k
rodadas de treinamento e teste com essas combinações de dados. Assim, idealmente minimiza-se as chances de algum dado importante para a classificação ser deixado de fora durante o treinamento.
Você pode dividir os dados manualmente, mas a biblioteca Scikit-Learn tem funções pra ajudar nisso. Dividir manualmente requer alguns cuidados, pois não se pode simplesmente "dividir" o array de dados em k
partes. Ao fazer isso você pode eventualmente deixar de fora do treinamento todos os dados de uma classe (no Iris Dataset, as flores são de três tipos diferentes - se você deixar na partição de treinamento apenas dados dos tipos 1 e 2 e usar nos testes os dados do tipo 3, a quantidade de erros vai ser grande). O "Stratified" K-Fold então toma esse cuidado, garantindo que sempre haverá um percentual equivalente de dados de cada classe em cada partição (tanto na de treinamento como na de teste).
Bom, ao executar os k
testes, se obterá um resultado (score e matriz de confusão) por teste. Desses resultados, pode-se extrair um score médio, por exemplo, que será muito mais próximo do esperado quando o seu modelo for usado em um cenário real (com novos dados extraídos do "mundo real"). Há outros métodos de particionamento, como o Leave-One-Out. Este é na verdade um k-Fold em que a partição de teste tem tamanho 1
. Ou seja, treina-se sempre com n-1
dados e testa-se com o restante, repetindo isso n
vezes (e, por isso, a execução desse tipo de teste demora mais).
O código a seguir, parecido com o a demonstra esse método:
#!/usr/bin/env python
# -*- coding: utf-8 -*-
import numpy as np
import matplotlib.pyplot as plt
from sklearn import datasets
from sklearn.tree import DecisionTreeClassifier
from sklearn import cross_validation
from sklearn.metrics import confusion_matrix
##################################################
# Função auxiliar para a construção dos gráficos
# com a matriz de confusão.
##################################################
def plot_cm(cm, cm_norm):
plt.figure()
plt.title(u'Matriz de Confusão')
a = plt.subplot(121)
a.set_title(u"Matriz de Confusão Regular", fontsize=18)
plt.imshow(cm, interpolation='nearest', cmap=plt.cm.Blues)
plt.colorbar(fraction=0.046, pad=0.04)
tick_marks = np.arange(len(iris.target_names))
plt.xticks(tick_marks, iris.target_names, rotation=45)
plt.yticks(tick_marks, iris.target_names)
plt.ylabel(u'Classe Verdadeira', fontsize=16)
plt.xlabel(u'Classe Estimada', fontsize=16)
b = plt.subplot(122)
b.set_title(u"Matriz de Confusão Normalizada", fontsize=18)
plt.imshow(cm_norm, interpolation='nearest', cmap=plt.cm.Blues)
plt.colorbar(fraction=0.046, pad=0.04)
plt.xticks(tick_marks, iris.target_names, rotation=45)
plt.yticks(tick_marks, iris.target_names)
plt.ylabel(u'Classe Verdadeira', fontsize=16)
plt.xlabel(u'Classe Estimada', fontsize=16)
plt.tight_layout()
##################################################
# Importa o banco de dados Iris
iris = datasets.load_iris()
# Define os dados de interesse para o problema
# X é o vetor de Características (no seu exemplo, você chamou de "features")
# Y é o vetor de Classes (no seu exemplo, você chamou de "labels")
X = iris.data
Y = iris.target
# Cria 5 partições com os dados de disponíveis
kf = cross_validation.StratifiedKFold(Y, n_folds=5)
# Treina o modelo com base nos dados de treinamento EM CADA PARTIÇÃO
# e calcula os escores
round = 1
scores = []
for train_index, test_index in kf:
X_train, X_test = X[train_index], X[test_index]
Y_train, Y_test = Y[train_index], Y[test_index]
# Instancia o algoritmo desejado (no caso, uma Árvore de Decisão)
model = DecisionTreeClassifier()
# Treina com a partição de treinamento
model.fit(X_train, Y_train)
# Verificação com a partição de teste
Y_pred = model.predict(X_test)
score = model.score(X_test, Y_test)
scores.append(score)
# Cria a matriz de confusão regular e normalizada
cm = confusion_matrix(Y_test, Y_pred)
cm_norm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis]
# Imprime as matrizes de confusão
np.set_printoptions(precision=2)
print(u"Rodada #{0} (score: {1:.2f})").format(round, score)
round = round + 1
print(u"Partição de treinamento: do índice #{} ao índice #{}").format(train_index[0], train_index[-1])
print(u"Partição de teste: do índice #{} ao índice #{}").format(test_index[0], test_index[-1])
print(u"----------------------------")
print(u'Matriz de Confusão Regular')
print(cm)
print(u'Matriz de Confusão Normalizada')
print(cm_norm)
plot_cm(cm, cm_norm)
# Imprime o score mínimo, máximo e médio
scores = np.array(scores)
print(u"Score mínimo: {0:.2f} Score máximo: {1:.2f} Score médio: {2:.2f}").format(scores.min(), scores.max(), scores.mean())
# Exibe todas as figuras
plt.show()
O resultado desse código é a saída de texto:
Rodada #1 (score: 0.93)
Partição de treinamento: do índice #1 ao índice #149
Partição de teste: do índice #0 ao índice #147
----------------------------
Matriz de Confusão Regular
[[10 0 0]
[ 0 10 0]
[ 0 2 8]]
Matriz de Confusão Normalizada
[[ 1. 0. 0. ]
[ 0. 1. 0. ]
[ 0. 0.2 0.8]]
Rodada #2 (score: 0.97)
Partição de treinamento: do índice #0 ao índice #149
Partição de teste: do índice #4 ao índice #143
----------------------------
Matriz de Confusão Regular
[[10 0 0]
[ 0 9 1]
[ 0 0 10]]
Matriz de Confusão Normalizada
[[ 1. 0. 0. ]
[ 0. 0.9 0.1]
[ 0. 0. 1. ]]
Rodada #3 (score: 0.87)
Partição de treinamento: do índice #0 ao índice #149
Partição de teste: do índice #5 ao índice #144
----------------------------
Matriz de Confusão Regular
[[10 0 0]
[ 0 9 1]
[ 0 3 7]]
Matriz de Confusão Normalizada
[[ 1. 0. 0. ]
[ 0. 0.9 0.1]
[ 0. 0.3 0.7]]
Rodada #4 (score: 0.97)
Partição de treinamento: do índice #0 ao índice #149
Partição de teste: do índice #1 ao índice #148
----------------------------
Matriz de Confusão Regular
[[10 0 0]
[ 0 9 1]
[ 0 0 10]]
Matriz de Confusão Normalizada
[[ 1. 0. 0. ]
[ 0. 0.9 0.1]
[ 0. 0. 1. ]]
Rodada #5 (score: 0.97)
Partição de treinamento: do índice #0 ao índice #148
Partição de teste: do índice #2 ao índice #149
----------------------------
Matriz de Confusão Regular
[[10 0 0]
[ 0 9 1]
[ 0 0 10]]
Matriz de Confusão Normalizada
[[ 1. 0. 0. ]
[ 0. 0.9 0.1]
[ 0. 0. 1. ]]
Score mínimo: 0.87 Score máximo: 0.97 Score médio: 0.94
E cinco gráficos como o a seguir:
Nesses resultados já se observa que ocorrem alguns erros de classificação (no gráfico ilustrado - teste com o a partição 3 - entre as orquídeas das classes Versicolor e Virginica). De fato, pode-se observar que o score mínimo (obtido nesse teste #3) foi de 0,87 (87% de acerto), o máximo de 0,97 (97% de acerto) e o médio (entre todos os testes) foi de 0,94 (94% de acerto). Esse valor é provavelmente o mais próximo dos resultados esperados com dados do mundo real, e por isso é uma boa indicação da qualidade do seu modelo.
O código de exemplo tem comentários que devem lhe ajudar, mas sobre a sua dúvida final, o que a função de K-Fold do Scikit-Learn faz é lhe devolver dois arrays com os índices dos dados a serem utilizados para treinamento ou teste. Note as linhas a seguir do código:
for train_index, test_index in kf:
X_train, X_test = X[train_index], X[test_index]
Y_train, Y_test = Y[train_index], Y[test_index]
As variáveis train_index
e test_index
são matrizes (arrays) com os índices que a função cross_validation.StratifiedKFold
montou pra você. Assim, quando você faz X[train_index]
você "filtra" apenas os dados dos índices naquele array (esse tipo de uso, em que se acessa um array a partir de um array de índices, é uma funcionalidade interessantíssima da linguagem Python). :)