Bom, para entender essa questão, é ilustrativo iniciar apresentando a diferença conceitual entre modelos de Machine Learning supervisionados e não supervisionados. Começando pelos últimos, os modelos não supervisionados são modelos que procuram fazer uma estimação em um contexto que a variável de resposta não é conhecida. O caso clássico são implementações de modelos de componentes principais. Nesses modelos, é possível criar componentes com base em correlações das variáveis no banco, embora, na maioria das vezes, a representação prática ou significado concreto desses componentes é desconhecida.
Por outro lado, em modelos supervisionados, a variável dependente (ou output, variável explicada, variável de resposta) é conhecida. Um exemplo seria um modelo que tentasse prever a participação de mulheres no mercado de trabalho com base em variáveis como idade, educação, número de filhos, entre outros. A variável dependente, nesse caso, é uma dummy que assume valor 1 se a mulher está no mercado de trabalho e 0 se ela não está. Quando você ajustar o modelo para fazer essa previsão é importante saber a capacidade preditiva do seu modelo, para além dos dados em que ele foi treinado. Por essa razão, é comum separar seu banco de dados em treino e teste. Os dados na base de treino, são usados na hora de treinar o modelo, enquanto os dados na base de teste, testam a performance do modelo fora da amostra (com dados novos).
É importante notar que sempre vai existir uma diferença de performance do modelo nas diferentes bases (treino e teste). Na verdade, essa diferença é sempre em favor da base de treino (pense, o modelo já "conhece" aqueles dados). A partir dessa diferença é possível formular mais uma distinção relevante em Machine Learning, qual seja, a diferença entre underfitting e overfitting. Como mostra a figura abaixo, retirada do livro do Andreas Müller, nós dizemos que o modelo está underfitting quando a performance dele é ruim tanto na base treino, quanto na base teste. Quando aumentamos a complexidade do modelo, a performance dele melhora em ambas as bases. Contudo, um modelo muito complexo fica muito "ajustado para a base de treino", ou seja, ele acerta muito na base de treino, mas tem pouco poder de generalização. Isso é o que nós chamamos de overfitting. Note que, na perspectiva do cientista de dados, o desafio consiste em maximizar a acurácia, sem perder a capacidade de generalização.
Em suma, a separação da base em base de treino e base de teste é fundamental para sabermos:
- a Acurácia do modelo e
- O quanto podemos melhorá-lo sem perder capacidade de generalização
É dessa forma que entendo, seria legal ver outras visões