Bom, para entender essa questão, é ilustrativo iniciar apresentando a diferença conceitual entre modelos de *Machine Learning* supervisionados e não supervisionados. Começando pelos últimos, os modelos não supervisionados são modelos que procuram fazer uma estimação em um contexto que a variável de resposta não é conhecida. O caso clássico são implementações de modelos de componentes principais. Nesses modelos, é possível criar componentes com base em correlações das variáveis no banco, embora, na maioria das vezes, a representação prática ou significado concreto desses componentes é desconhecida. <br> Por outro lado, em modelos supervisionados, a variável dependente (ou *output*, variável explicada, variável de resposta) é conhecida. Um exemplo seria um modelo que tentasse prever a participação de mulheres no mercado de trabalho com base em variáveis como idade, educação, número de filhos, entre outros. A variável dependente, nesse caso, é uma *dummy* que assume valor 1 se a mulher está no mercado de trabalho e 0 se ela não está. Quando você ajustar o modelo para fazer essa previsão é importante saber a capacidade preditiva do seu modelo, para além dos dados em que ele foi treinado. Por essa razão, é comum separar seu banco de dados em **treino** e **teste**. Os dados na base de treino, são usados na hora de treinar o modelo, enquanto os dados na base de teste, testam a performance do modelo fora da amostra (com dados novos). <br> É importante notar que sempre vai existir uma diferença de performance do modelo nas diferentes bases (treino e teste). Na verdade, essa diferença é sempre em favor da base de treino (pense, o modelo já "conhece" aqueles dados). A partir dessa diferença é possível formular mais uma distinção relevante em *Machine Learning*, qual seja, a diferença entre *underfitting* e *overfitting*. Como mostra a figura abaixo, retirada do livro do Andreas Müller, nós dizemos que o modelo está *underfitting* quando a performance dele é ruim tanto na base treino, quanto na base teste. Quando aumentamos a complexidade do modelo, a performance dele melhora em ambas as bases. Contudo, um modelo muito complexo fica muito "ajustado para a base de treino", ou seja, ele acerta muito na base de treino, mas tem pouco poder de generalização. Isso é o que nós chamamos de *overfitting*. Note que, na perspectiva do cientista de dados, o desafio consiste em maximizar a acurácia, sem perder a capacidade de generalização. [![inserir a descrição da imagem aqui][1]][1] Em suma, a separação da base em base de treino e base de teste é fundamental para sabermos: <br> 1) a Acurácia do modelo e <br> 2) O quanto podemos melhorá-lo sem perder capacidade de generalização [1]: https://i.sstatic.net/DBQTR.png