Quando reporto métricas de um modelo de machine-learning sempre utilizo o k-fold validation. Segue um exemplo de implementação:
import pandas as pd
import numpy as np
from sklearn.model_selection import cross_val_score
from sklearn.model_selection import RepeatedStratifiedKFold
data = pd.read_csv("https://stats.idre.ucla.edu/stat/data/binary.csv")
from sklearn.model_selection import train_test_split
X=data.iloc[:,1:]
y=data['admit']
from sklearn.neural_network import MLPClassifier
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.33, random_state=42)
number_nb=1
mlp = MLPClassifier(solver='lbfgs', alpha=1e-5, hidden_layer_sizes=(5, 2))
mlp.fit(X_train, y_train)
pred = mlp.predict(X_test)
Com o modelo pronto, defino uma função para avaliar o modelo:
def evaluate_model(X, y, model, metric):
cv = RepeatedStratifiedKFold(n_splits=10, n_repeats=3, random_state=1)
scores = cross_val_score(model, X, y, scoring=metric, cv=cv, n_jobs=-1)
return np.mean(scores)
Avaliando a acurácia:
evaluate_model(X_train, y_train, mlp,'accuracy')
Retorna: 0.6829 ...
Ocorre que gostaria de mudar o threshold de aceitação do modelo com o objetivo de escolher a combinação de sensibilidade e especificidade mais adequada ao meu caso concreto. Adotando o procedimento descrito nesta questão consigo gerar o novo vetor de predições, mas com ele não é possível usar a função cross_val_score
.
Existe uma forma de calcular métricas por k-fold validation quando se altera o cut-off do modelo?