6

Quero realizar uma validação cruzada utilizando 10 folds estratificados, utilizando a linguagem Python e a biblioteca Scikit Learn (Sklearn).

Procurando por alguns tutorias na internet, fiz alguns teste e gerei um modelo da seguinte maneira:

def decisionTreeOnIrisDataset(self):
    print("\nAlgoritmos Decision Tree - Iris Dataset")
    features, labels = self.extractFeaturesAndLabels() # 0.0 para Setosa
                                                       # 1.0 para Versicolor
                                                       # 2.0 para virginica

    model = DecisionTreeClassifier()
    model.fit(features, labels)
    #print(model)

    expected = labels
    predicted = model.predict(features)
    self.printInfo(expected, predicted)

E imprimo algumas informações com:

def printInfo(self, expected, predicted):
    print("Relatório de Classificação")
    print(metrics.classification_report(expected, predicted))
    print("Matriz de Confusão")
    print(metrics.confusion_matrix(expected, predicted))

Tenho pouca experiência com Aprendizado de Máquina e python, mas já tive uma experiência com a biblioteca MLlib do Apache Spark utilizando Scala, mas sempre dividi por exemplo 80% para treinamento e 20% para teste.

Pesquisando na documentação encontrei a classe StratifiedKFold, mas não consegui entender como utiliza-la para verificar a acurácia e outras medidas do modelo que eu gerei.

Na documentação encontrei um exemplo, que simplesmente é passado as labels e a quantidade de folds, adaptando ficou assim:

features, labels = extractFeaturesAndLabels()

skf = StratifiedKFold(labels, n_folds=3)

for train, test in skf:
    print("Train\n%s\n\n Test\n%s" % (train, test))

Não consegui entender o conteúdo dos folds, e como irei utiliza-los para avaliar meu modelo, o conteúdo do primeiro fold impresso foi:

Train
[ 17  18  19  20  21  22  23  24  25  26  27  28  29  30  31  32  33  34
  35  36  37  38  39  40  41  42  43  44  45  46  47  48  49  67  68  69
  70  71  72  73  74  75  76  77  78  79  80  81  82  83  84  85  86  87
  88  89  90  91  92  93  94  95  96  97  98  99 117 118 119 120 121 122
 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140
 141 142 143 144 145 146 147 148 149]

 Test
[  0   1   2   3   4   5   6   7   8   9  10  11  12  13  14  15  16  50
  51  52  53  54  55  56  57  58  59  60  61  62  63  64  65  66 100 101
 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116]

Alguém pode me explicar como proceder, e se possível algum exemplo?

1 Resposta 1

10

O objetivo de realizar testes com um classificador é verificar a sua qualidade em prever a classificação para um ou mais novos exemplos de dados do domínio de problema de interesse (não sei o quanto você conhece do assunto, mas se julgar interessante sugiro ler esta minha outra resposta para um exemplo didático que introduz o assunto de classificação).

Esse teste geralmente é realizado da seguinte forma:

  1. O classificador é treinado com um conjunto de dados chamado de dados de treinamento, gerando um modelo (também chamado de classificador ou preditor).
  2. Então, o modelo gerado é executado com um conjunto de dados dados chamado de dados de teste no qual já se conhece o resultado da classificação para cada exemplo (isto é, já se sabe a qual classe cada vetor de características pertence).
  3. O resultado da previsão do modelo é então comparado com o resultado correto (aquele que já se sabe como correto) para verificar as quantidades de acertos e erros. A partir desses números se extrai uma indicação da qualidade do modelo gerado.

O problema é que nem sempre se tem uma quantidade de dados suficientemente grande para separar em dados de treinamento e teste. O "mundo real" é vasto, e coletar muitos dados diversificados pode ser custoso e as vezes até mesmo inviável. E testar com todos os dados usados no treinamento é inútil, já que ele sempre vai acertar as "previsões" (afinal, foi treinado com aquele conjunto de dados).

O exemplo de código a seguir demonstra esse tipo de teste, e apenas para servir de ajuda calcula o score (o percentual de acertos) e exibe a matriz de confusão (que mostra em uma escala visual as quantidades de acertos e erros entre as diferentes classes). Como você, eu também usei o banco de dados clássico (de dados de orquídeas) Iris Dataset para os testes.

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import numpy as np
import matplotlib.pyplot as plt

from sklearn import datasets
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import confusion_matrix

##################################################
# Função auxiliar para a construção dos gráficos
# com a matriz de confusão.
##################################################
def plot_cm(cm, cm_norm):
    plt.figure()
    plt.title(u'Matriz de Confusão')

    a = plt.subplot(121)
    a.set_title(u"Matriz de Confusão Regular", fontsize=18)
    plt.imshow(cm, interpolation='nearest', cmap=plt.cm.Blues)
    plt.colorbar(fraction=0.046, pad=0.04)

    tick_marks = np.arange(len(iris.target_names))
    plt.xticks(tick_marks, iris.target_names, rotation=45)
    plt.yticks(tick_marks, iris.target_names)
    plt.ylabel(u'Classe Verdadeira', fontsize=16)
    plt.xlabel(u'Classe Estimada', fontsize=16)

    b = plt.subplot(122)
    b.set_title(u"Matriz de Confusão Normalizada", fontsize=18)
    plt.imshow(cm_norm, interpolation='nearest', cmap=plt.cm.Blues)
    plt.colorbar(fraction=0.046, pad=0.04)

    plt.xticks(tick_marks, iris.target_names, rotation=45)
    plt.yticks(tick_marks, iris.target_names)
    plt.ylabel(u'Classe Verdadeira', fontsize=16)
    plt.xlabel(u'Classe Estimada', fontsize=16)

    plt.tight_layout()
    plt.show()

##################################################


# Importa o banco de dados Iris
iris = datasets.load_iris()

# Define os dados de interesse para o problema
# X é o vetor de Características (no seu exemplo, você chamou de "features")
# Y é o vetor de Classes (no seu exemplo, você chamou de "labels")
X = iris.data
Y = iris.target

# Instancia o algoritmo desejado (no caso, uma Árvore de Decisão)
model = DecisionTreeClassifier()

# Treina o modelo com base EM TODOS os dados de treinamento
model.fit(X, Y)

# Verificação do modelo treinado (estimação das classes a partir das características)
Y_pred = model.predict(X)

# Imprime o score
score = model.score(X, Y)
print(u"Score: {0:.2f}").format(score)

# Cria a matriz de confusão regular e normalizada
cm = confusion_matrix(Y, Y_pred)
cm_norm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis]

# Imprime as matrizes de confusão
np.set_printoptions(precision=2)
print(u'Matriz de Confusão Regular')
print(cm)
print(u'Matriz de Confusão Normalizada')
print(cm_norm)

# Plota as matrizes em um gráfico
plot_cm(cm, cm_norm)

O resultado desse código é o seguinte:

Score: 1.00
Matriz de Confusão Regular
[[50  0  0]
 [ 0 50  0]
 [ 0  0 50]]
Matriz de Confusão Normalizada
[[ 1.  0.  0.]
 [ 0.  1.  0.]
 [ 0.  0.  1.]]

E o seguinte gráfico:

inserir a descrição da imagem aqui

Como esperado, observa-se um score igual a 1 (100% de acerto) e uma matriz de confusão homogênea (sem confusão alguma na verdade), pois todos os exemplos de todas as classes foram corretamente estimados (as quantidades de dados se concentram nos quadrantes em que classe verdadeira é igual a classe estimada).

Já que testar com os dados de treinamento é inútil, há de ser utilizar parte dos dados para treinamento e outra parte para os testes. Quando se tem uma quantidade pequena de dados, dividir arbitrariamente em 80% para treinamento e 20% para testes (por exemplo) é complicado porque pode gerar erros significativos no modelo. Afinal, e se os exemplos mais relevantes das classes ficaram justamente naqueles 20% que não foram usados para treinar o classificador?

Assim, existem algumas abordagens que procuram auxiliar com essa dificuldade. A validação cruzada com o método K-Fold é uma delas. A ideia é dividir a massa de dados disponível em k partições (os tais "folds") e realizar k rodadas de treinamento e teste com essas combinações de dados. Assim, idealmente minimiza-se as chances de algum dado importante para a classificação ser deixado de fora durante o treinamento.

Você pode dividir os dados manualmente, mas a biblioteca Scikit-Learn tem funções pra ajudar nisso. Dividir manualmente requer alguns cuidados, pois não se pode simplesmente "dividir" o array de dados em k partes. Ao fazer isso você pode eventualmente deixar de fora do treinamento todos os dados de uma classe (no Iris Dataset, as flores são de três tipos diferentes - se você deixar na partição de treinamento apenas dados dos tipos 1 e 2 e usar nos testes os dados do tipo 3, a quantidade de erros vai ser grande). O "Stratified" K-Fold então toma esse cuidado, garantindo que sempre haverá um percentual equivalente de dados de cada classe em cada partição (tanto na de treinamento como na de teste).

inserir a descrição da imagem aqui

Bom, ao executar os k testes, se obterá um resultado (score e matriz de confusão) por teste. Desses resultados, pode-se extrair um score médio, por exemplo, que será muito mais próximo do esperado quando o seu modelo for usado em um cenário real (com novos dados extraídos do "mundo real"). Há outros métodos de particionamento, como o Leave-One-Out. Este é na verdade um k-Fold em que a partição de teste tem tamanho 1. Ou seja, treina-se sempre com n-1 dados e testa-se com o restante, repetindo isso n vezes (e, por isso, a execução desse tipo de teste demora mais).

O código a seguir, parecido com o a demonstra esse método:

#!/usr/bin/env python
# -*- coding: utf-8 -*-

import numpy as np
import matplotlib.pyplot as plt

from sklearn import datasets
from sklearn.tree import DecisionTreeClassifier
from sklearn import cross_validation
from sklearn.metrics import confusion_matrix

##################################################
# Função auxiliar para a construção dos gráficos
# com a matriz de confusão.
##################################################
def plot_cm(cm, cm_norm):
    plt.figure()
    plt.title(u'Matriz de Confusão')

    a = plt.subplot(121)
    a.set_title(u"Matriz de Confusão Regular", fontsize=18)
    plt.imshow(cm, interpolation='nearest', cmap=plt.cm.Blues)
    plt.colorbar(fraction=0.046, pad=0.04)

    tick_marks = np.arange(len(iris.target_names))
    plt.xticks(tick_marks, iris.target_names, rotation=45)
    plt.yticks(tick_marks, iris.target_names)
    plt.ylabel(u'Classe Verdadeira', fontsize=16)
    plt.xlabel(u'Classe Estimada', fontsize=16)

    b = plt.subplot(122)
    b.set_title(u"Matriz de Confusão Normalizada", fontsize=18)
    plt.imshow(cm_norm, interpolation='nearest', cmap=plt.cm.Blues)
    plt.colorbar(fraction=0.046, pad=0.04)

    plt.xticks(tick_marks, iris.target_names, rotation=45)
    plt.yticks(tick_marks, iris.target_names)
    plt.ylabel(u'Classe Verdadeira', fontsize=16)
    plt.xlabel(u'Classe Estimada', fontsize=16)

    plt.tight_layout()

##################################################


# Importa o banco de dados Iris
iris = datasets.load_iris()

# Define os dados de interesse para o problema
# X é o vetor de Características (no seu exemplo, você chamou de "features")
# Y é o vetor de Classes (no seu exemplo, você chamou de "labels")
X = iris.data
Y = iris.target

# Cria 5 partições com os dados de disponíveis
kf = cross_validation.StratifiedKFold(Y, n_folds=5)

# Treina o modelo com base nos dados de treinamento EM CADA PARTIÇÃO
# e calcula os escores 
round = 1
scores = []

for train_index, test_index in kf:
    X_train, X_test = X[train_index], X[test_index]
    Y_train, Y_test = Y[train_index], Y[test_index]

    # Instancia o algoritmo desejado (no caso, uma Árvore de Decisão)
    model = DecisionTreeClassifier()

    # Treina com a partição de treinamento
    model.fit(X_train, Y_train)

    # Verificação com a partição de teste
    Y_pred = model.predict(X_test)
    score = model.score(X_test, Y_test)
    scores.append(score)

    # Cria a matriz de confusão regular e normalizada
    cm = confusion_matrix(Y_test, Y_pred)
    cm_norm = cm.astype('float') / cm.sum(axis=1)[:, np.newaxis]

    # Imprime as matrizes de confusão
    np.set_printoptions(precision=2)
    print(u"Rodada #{0} (score: {1:.2f})").format(round, score)
    round = round + 1

    print(u"Partição de treinamento: do índice #{} ao índice #{}").format(train_index[0], train_index[-1])
    print(u"Partição de teste: do índice #{} ao índice #{}").format(test_index[0], test_index[-1])
    print(u"----------------------------")

    print(u'Matriz de Confusão Regular')
    print(cm)
    print(u'Matriz de Confusão Normalizada')
    print(cm_norm)

    plot_cm(cm, cm_norm)

# Imprime o score mínimo, máximo e médio
scores = np.array(scores)
print(u"Score mínimo: {0:.2f} Score máximo: {1:.2f} Score médio: {2:.2f}").format(scores.min(), scores.max(), scores.mean())

# Exibe todas as figuras
plt.show()

O resultado desse código é a saída de texto:

Rodada #1 (score: 0.93)
Partição de treinamento: do índice #1 ao índice #149
Partição de teste: do índice #0 ao índice #147
----------------------------
Matriz de Confusão Regular
[[10  0  0]
 [ 0 10  0]
 [ 0  2  8]]
Matriz de Confusão Normalizada
[[ 1.   0.   0. ]
 [ 0.   1.   0. ]
 [ 0.   0.2  0.8]]
Rodada #2 (score: 0.97)
Partição de treinamento: do índice #0 ao índice #149
Partição de teste: do índice #4 ao índice #143
----------------------------
Matriz de Confusão Regular
[[10  0  0]
 [ 0  9  1]
 [ 0  0 10]]
Matriz de Confusão Normalizada
[[ 1.   0.   0. ]
 [ 0.   0.9  0.1]
 [ 0.   0.   1. ]]
Rodada #3 (score: 0.87)
Partição de treinamento: do índice #0 ao índice #149
Partição de teste: do índice #5 ao índice #144
----------------------------
Matriz de Confusão Regular
[[10  0  0]
 [ 0  9  1]
 [ 0  3  7]]
Matriz de Confusão Normalizada
[[ 1.   0.   0. ]
 [ 0.   0.9  0.1]
 [ 0.   0.3  0.7]]
Rodada #4 (score: 0.97)
Partição de treinamento: do índice #0 ao índice #149
Partição de teste: do índice #1 ao índice #148
----------------------------
Matriz de Confusão Regular
[[10  0  0]
 [ 0  9  1]
 [ 0  0 10]]
Matriz de Confusão Normalizada
[[ 1.   0.   0. ]
 [ 0.   0.9  0.1]
 [ 0.   0.   1. ]]
Rodada #5 (score: 0.97)
Partição de treinamento: do índice #0 ao índice #148
Partição de teste: do índice #2 ao índice #149
----------------------------
Matriz de Confusão Regular
[[10  0  0]
 [ 0  9  1]
 [ 0  0 10]]
Matriz de Confusão Normalizada
[[ 1.   0.   0. ]
 [ 0.   0.9  0.1]
 [ 0.   0.   1. ]]
Score mínimo: 0.87 Score máximo: 0.97 Score médio: 0.94

E cinco gráficos como o a seguir:

inserir a descrição da imagem aqui

Nesses resultados já se observa que ocorrem alguns erros de classificação (no gráfico ilustrado - teste com o a partição 3 - entre as orquídeas das classes Versicolor e Virginica). De fato, pode-se observar que o score mínimo (obtido nesse teste #3) foi de 0,87 (87% de acerto), o máximo de 0,97 (97% de acerto) e o médio (entre todos os testes) foi de 0,94 (94% de acerto). Esse valor é provavelmente o mais próximo dos resultados esperados com dados do mundo real, e por isso é uma boa indicação da qualidade do seu modelo.

O código de exemplo tem comentários que devem lhe ajudar, mas sobre a sua dúvida final, o que a função de K-Fold do Scikit-Learn faz é lhe devolver dois arrays com os índices dos dados a serem utilizados para treinamento ou teste. Note as linhas a seguir do código:

for train_index, test_index in kf:
    X_train, X_test = X[train_index], X[test_index]
    Y_train, Y_test = Y[train_index], Y[test_index]

As variáveis train_index e test_index são matrizes (arrays) com os índices que a função cross_validation.StratifiedKFold montou pra você. Assim, quando você faz X[train_index] você "filtra" apenas os dados dos índices naquele array (esse tipo de uso, em que se acessa um array a partir de um array de índices, é uma funcionalidade interessantíssima da linguagem Python). :)

2
  • 1
    Muito obrigado pela resposta me ajudou bastante, e acredito que vai ajudar outras pessoas. Pesquisando um pouco, descobri que posso utilizar o cross_validation.StratifiedKFold de maneira indireta através do cross_validation.cross_val_score e já obter os scores, passando um modelo, o vetor de características e classes, etc, além do parâmetro cv, no meu caso cv=10, e esse método ira chamar o _check_cv que utilizara o StratifiedKFold. Acredito que o resultado sera semelhante ao da sua solução, pois ele me retorna os scores de cada fold. Commented 1/06/2015 às 4:05
  • Exatamente. Essa biblioteca é fantástica, facilita muitíssimo. Ah, por nada, fico feliz em ajudar. :) Commented 1/06/2015 às 12:12

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .