0

No modelo SVM (kernel: linear, fator de regularização: 0.1, validação cruzada k=10). O fator de regularização e fator de custo seriam a mesma coisa? No help do R informa só o argumento custo.

library(e1071)
library(caret)
modelo = svm(formula = gravidez ~ ., 
  data = treinamento, 
  type = 'C-classification', 
  kernel = 'linear', cost = 1.0, cross = 10)
previsor = predict(modelo, newdata = teste[-19])

1 Resposta 1

0

O parâmetro C é a penalidade associada as instâncias que ou são classificadas erradas ou violam a margem maximal. O que o algoritmo SVM faz basicamente é encontrar as maiores margens para dados linearmente separáveis como mostrado nessa figura:

inserir a descrição da imagem aqui

Entretanto pode ocorrer de haver conjuntos de dados que não são linearmente separáveis. Nesses casos é admitido alguns erros de classificação sob a penalidade associada ao C.

inserir a descrição da imagem aqui

O efeito de um custo alto é que o modelo final tenderá a obter o menor número possível de erros de classificação. Isso pode resultar em fronteiras muito específicas ao conjunto de dados e por conseguinte um superajustamento do modelo ao conjunto de dados. Um C mais baixo gera fronteiras de decisão mais suaves, o que apesar de ter mais classificações erradas gera modelos que podem ser melhor generalizados.

inserir a descrição da imagem aqui

Agora quanto ao fator de regularização, esse termo é mais utilizado no que se refere a regressão, como técnicas como o LASSO. Entretanto a ideia é a mesma que a do fator C. Só para exemplificar como são equivalentes a seguir temos a verossimilhança com um fator de custo C:

inserir a descrição da imagem aqui

e a função equivalente com um fator de regularização como é usualmente escrito em regressão:

inserir a descrição da imagem aqui

Na prática o efeito é o mesmo, seja com C seja com lambda. Então acredito que na sua implementação ou você especifica um ou outro, não faz sentido especificar os dois já que eles tem o mesmo efeito.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .