A linha separadora é também chamada de fronteira de decisão. Ela separa razoavelmente bem os peixes das amostras utilizadas para gerar o classificador (por isso são chamados de "dados de treinamento"), mas dá pra perceber que há ainda alguns erros, que podem se dever a falhas de medição das características ou a indivíduos foram do padrão (outliners) que talvez possam ser ignorados. Poderia-se tentar gerar um classificador EXATO (figura A abaixo), mas ele provavelmente estaria muito ajustado aos dados de exemplo (que podem ser pouco representativos ou conter erros de amostragem) e erraria por excesso (algo chamado sobreajuste ou overfitting). O ideal é gerar um modelo que aproxime o mundo real a partir dos dados de treinamento, e não meramente o replique. Talvez nesse exemplo seja mais interessente, ao invés de um separador linear (uma linha ou um plano), utilizar um separador polinomial (como uma curva próxima a uma equação do segundoterceiro grau, por exemplo, como na figura B abaixo).