2

Gostaria de saber qual se existe uma recomendação do tipo "rule of thumb" para, em um problema de Aprendizado de Máquina, dividir um conjunto de dados em 3 sets: Treinamento, Validação e Testes.

Se sim, qual seria essa divisão ideal?

Eu também gostaria de entender melhor qual é a diferença entre o conjunto de validação e o conjunto de testes, e por que é necessário ter os dois.

1 Resposta 1

3

De forma geral separamos aleatóriamente uns 70% para treino, 15% de validação e 15% p/ testes... Mas isso varia muito e pode depender do problema, por exemplo quando existe um fator temporal, não podemos separar aleatoriamente e aí é comum pegar um períodos diferentes para treino, validação e teste. Dependendo do tamanho do conjunto de dados, também nem faz sentido usar esses percentuais...

Sobre a sua outra pergunta: porque usamos um conjunto de validação e um outro de testes?

Em geral ajustamos uma quantidade grande de modelos e verificamos o erro de predição no conjunto de validação, no fim escolhemos o modelo com menor erro no conjunto de validação. O problema é que como ajustamos muitos modelos, é fácil encontrar um modelo que se torna específico (superajustado ou overfitado) para a base de validação e não funciona para outros conjuntos de dados. Por isso deixamos um conjunto de teste para estimar o erro de predição do modelo escolhido e ter certeza de que o modelo não está superajustado.

1

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .