2

Estou aprendendo machine learning e na maioria dos exemplos é utilizado o método train_test_split() e não há uma explicação muito precisa sobre ele (pelo menos não nos artigos que já li).

Sei que sua função é dividir o conjunto de dados, mas tenho algumas dúvidas:

  • Por que os dados precisam ser divididos?
  • Qual a finalidade das variáveis de retorno train e test?
  • Utiliza-se só por produtividade ou há um aumento na taxa de acurácia do treinamento?

3 Respostas 3

2

Bom, para entender essa questão, é ilustrativo iniciar apresentando a diferença conceitual entre modelos de Machine Learning supervisionados e não supervisionados. Começando pelos últimos, os modelos não supervisionados são modelos que procuram fazer uma estimação em um contexto que a variável de resposta não é conhecida. O caso clássico são implementações de modelos de componentes principais. Nesses modelos, é possível criar componentes com base em correlações das variáveis no banco, embora, na maioria das vezes, a representação prática ou significado concreto desses componentes é desconhecida.

Por outro lado, em modelos supervisionados, a variável dependente (ou output, variável explicada, variável de resposta) é conhecida. Um exemplo seria um modelo que tentasse prever a participação de mulheres no mercado de trabalho com base em variáveis como idade, educação, número de filhos, entre outros. A variável dependente, nesse caso, é uma dummy que assume valor 1 se a mulher está no mercado de trabalho e 0 se ela não está. Quando você ajustar o modelo para fazer essa previsão é importante saber a capacidade preditiva do seu modelo, para além dos dados em que ele foi treinado. Por essa razão, é comum separar seu banco de dados em treino e teste. Os dados na base de treino, são usados na hora de treinar o modelo, enquanto os dados na base de teste, testam a performance do modelo fora da amostra (com dados novos).

É importante notar que sempre vai existir uma diferença de performance do modelo nas diferentes bases (treino e teste). Na verdade, essa diferença é sempre em favor da base de treino (pense, o modelo já "conhece" aqueles dados). A partir dessa diferença é possível formular mais uma distinção relevante em Machine Learning, qual seja, a diferença entre underfitting e overfitting. Como mostra a figura abaixo, retirada do livro do Andreas Müller, nós dizemos que o modelo está underfitting quando a performance dele é ruim tanto na base treino, quanto na base teste. Quando aumentamos a complexidade do modelo, a performance dele melhora em ambas as bases. Contudo, um modelo muito complexo fica muito "ajustado para a base de treino", ou seja, ele acerta muito na base de treino, mas tem pouco poder de generalização. Isso é o que nós chamamos de overfitting. Note que, na perspectiva do cientista de dados, o desafio consiste em maximizar a acurácia, sem perder a capacidade de generalização.

inserir a descrição da imagem aqui

Em suma, a separação da base em base de treino e base de teste é fundamental para sabermos:

  1. a Acurácia do modelo e
  2. O quanto podemos melhorá-lo sem perder capacidade de generalização

É dessa forma que entendo, seria legal ver outras visões

2

Sendo bem didática e direta, o conjunto de treino é a base que você fornece a sua IA para ela aprender. Então esse conjunto ela já conhece. Após treinar uma IA é comum precisar analisar o quão boa ela está, para isso é necessário fornecer um conjunto de dados que ela nunca foi treinada e ver o quão bem ela se sai na classificação dos dados. Se for utilizado o mesmo conjunto de treino para teste a IA tende a ter melhores resultados do que realmente teria ao ser exposta a outros dados do mesmo tipo.

O processo é análogo ao professor que ensina os alunos e depois para testá-los aplica uma prova com questões diferentes. Se ele aplicar as mesmas questões que os alunos já fizeram ou viram os alunos tendem a tirarem melhores notas .

2

Por que os dados precisam ser divididos?

É esperado que um algoritmo de ML aprenda com o conjunto de treino, mas depois como sabemos se o modelo ficou bom? Se funciona com novos dados? Como comparamos com outros modelos?

A resposta é simples, vemos a pontuação (acurácia) no conjunto de teste. Essa pontuação nos diz quão bem o modelo irá se comportar com dados novos.

Qual a finalidade das variáveis de retorno train e test?

A finalidade destas variáveis é utilizar o conjunto de dados train para treinar o modelo e, com um conjunto de dados nunca visto antes, o test, ver como o modelo lida com dados novos.

Utiliza-se só por produtividade ou há um aumento na taxa de acurácia do treinamento?

Realizando diversos treinamentos com conjuntos de dados (treino e test) diferentes, podemos encontrar os melhores hiper parâmetros para o modelo que maximizam a acurácia média dos diversos conjuntos de teste.

Então dividir em treino e teste melhora o modelo final, que deve ser treinado com todo o conjunto de dados e com os hiper parâmetro já estabelecidos.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .