Eu estou criando um modelo preditivo no R, utilizando a library caret. Quando eu rodo no R ele demora bastante tempo, e ainda da alguns erros. Em comparação, eu rodo a mesma base no Weka em questão de alguns minutos já obtenho o resultado.
Eu já modifiquei as variáveis para inteiro, e mesmo assim não adiantou muito.
Já tentei também utilizar de maneira paralela, mas também não adiantou muito.
Queria saber ao que a performance está ligada nesse caso? Quais são os fatores que mais influenciam para o desempenho ruim na criação de um modelo preditivo?
caret
faz tuning de parâmetros por padrão... Tem certeza que não é isso? As vezes ele está treinando 30 modelos ao invés de 1 como você pdoe estar pensando e ao contrário do Weka. Também tem que ver que modelo você está fazendo. Por exemplo para fazer random forest, o caret pode usar tanto o pacoterandomForest
quanto oranger
(e outros), mas sempre tem 1 que é mais rápido.tuneGrid
. Também tem que mexer notuneCtrl
pq o caret também faz CV. Como fazer está aqui: topepo.github.io/caret/… Se você colocar um exemplo mínimo reproduzível na sua pergunta fica mais fácil de responder. Do jeito que está a sua pergunta a resposta tem que ser muito longa para atender.number
é o número de folds de Cross-Validation. Ou seja 10 quer dizer que para cada elemento do grid de parâmetros vc vai ajustar 10x o modelo, para avaliar o erro na outra parte da base.inTain <- createDataPartition(y = make.names(rf$class), p = 0.7, list = FALSE) training <- rf[inTain,] teste <- rf[-inTain,] set.seed(234) train_control <- trainControl(method="cv", number=10) model <- train(as.factor(class) ~., data = training, trControl=train_control, method="rf")
Eu estou rodando esse código para uma tabela com mais ou menos 50k linhas e 60 colunas