1

Eu estou criando um modelo preditivo no R, utilizando a library caret. Quando eu rodo no R ele demora bastante tempo, e ainda da alguns erros. Em comparação, eu rodo a mesma base no Weka em questão de alguns minutos já obtenho o resultado.

Eu já modifiquei as variáveis para inteiro, e mesmo assim não adiantou muito.

Já tentei também utilizar de maneira paralela, mas também não adiantou muito.

Queria saber ao que a performance está ligada nesse caso? Quais são os fatores que mais influenciam para o desempenho ruim na criação de um modelo preditivo?

7
  • O caret faz tuning de parâmetros por padrão... Tem certeza que não é isso? As vezes ele está treinando 30 modelos ao invés de 1 como você pdoe estar pensando e ao contrário do Weka. Também tem que ver que modelo você está fazendo. Por exemplo para fazer random forest, o caret pode usar tanto o pacote randomForest quanto o ranger (e outros), mas sempre tem 1 que é mais rápido. Commented 21/02/2017 às 17:35
  • Como funciona o tuning? Eu cheguei a rodar com tuning=10 e 20. Mas também não tive melhoras. Eu estava fazendo inicialmente o kNN, pois ele é mais rápido, mas testei o randomForest e também caio no mesmo problema... demora e nada de resultado. Quando eu rodo pra uma amostra do dataset até funciona. Acompanhando o desempenho de memória, eu acredito que ele esteja treinando vários modelos mesmo, como eu configuro somente pra um? Commented 21/02/2017 às 17:42
  • Tem que ver o seu código... Você mexe nisso com o argumento tuneGrid. Também tem que mexer no tuneCtrl pq o caret também faz CV. Como fazer está aqui: topepo.github.io/caret/… Se você colocar um exemplo mínimo reproduzível na sua pergunta fica mais fácil de responder. Do jeito que está a sua pergunta a resposta tem que ser muito longa para atender. Commented 21/02/2017 às 17:47
  • Esse parâmetro number é o número de folds de Cross-Validation. Ou seja 10 quer dizer que para cada elemento do grid de parâmetros vc vai ajustar 10x o modelo, para avaliar o erro na outra parte da base. Commented 21/02/2017 às 17:58
  • inTain <- createDataPartition(y = make.names(rf$class), p = 0.7, list = FALSE) training <- rf[inTain,] teste <- rf[-inTain,] set.seed(234) train_control <- trainControl(method="cv", number=10) model <- train(as.factor(class) ~., data = training, trControl=train_control, method="rf") Eu estou rodando esse código para uma tabela com mais ou menos 50k linhas e 60 colunas Commented 21/02/2017 às 17:58

1 Resposta 1

1

Pode ter uma série de motivos para ficar lento:

  • Algoritmo lento. O randomForest não é o pacote mais rápido: tente usar ranger ou Rborist. Fonte. xgboost também é rápido para caramba e fazendo alguns tweaks da para ajustar random forest por ele.
  • O caret está fazendo tuning dos parâmetros. Passe somente uma combinação de hiper-parâmetros usando o argumento tuneGrid.
  • É bem provável que os algoritmos em R tenham performance inferior que o Weka (em C), mas você pode usar o Weka pelo R (procure pelo pacote RWeka)

Difícil dizer porque acontecem os erros sem ver os seus dados. Eu chutaria que é porque tem alguma de suas variáveis que possui uma classe rara e quando você faz o cross-validation, algum dos folds fica sem ela.

Sempre tente procurar algum pacote de R que utiliza algum algoritmo em C/C++ para treinar os modelos. Nesta parte de machine-learning, R deve ser considerado apenas como uma interface, para usar algoritmos de diversas fontes de forma mais fácil e geralmente padronizada.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .