1

Tenho uma base de dados pequena (872 obs. de 27 variáveis).

Mas a análise que preciso fazer dessa base acaba sendo muito pesada, pois requer análise da iteração de muitas variáveis entre si.

Estou tentando realizar uma Análise Fatorial Confirmatória (CFA) usando o pacote Lavaan. Entretanto, a função para de rodar na interação 4.521, depois de um dia rodando. Quando uso o Stata, o computador reinicia em um determinado momento (umas 10mil iterações, se não me engano).

Quando acaba (no R), tenho um df de 200mb e recebo a seguinte mensagem no console (que é a mesma de quando interrompo a operação manualmente):

Warning messages:
1: In lav_data_full(data = data, group = group, cluster = cluster,  :
  lavaan WARNING: some ordered categorical variable(s) have more than 12 levels: idade_coop n_pac membros cs_sobre_cooperados soma_pl_deposito ativocomp pl_sobre_ativos roa
2: In lav_samplestats_step2(UNI = FIT, wt = wt, ov.names = ov.names,  :
  lavaan WARNING: correlation between variables sul and sudeste is (nearly) 1.0
3: In lav_samplestats_step2(UNI = FIT, wt = wt, ov.names = ov.names,  :
  lavaan WARNING: correlation between variables ativocomp and soma_pl_deposito is (nearly) 1.0
4: In lav_model_estimate(lavmodel = lavmodel, lavpartable = lavpartable,  :
  lavaan WARNING: the optimizer warns that a solution has NOT been found!
5: In lav_model_estimate(lavmodel = lavmodel, lavpartable = lavpartable,  :
  lavaan WARNING: the optimizer warns that a solution has NOT been found!
6: In lav_model_estimate(lavmodel = lavmodel, lavpartable = lavpartable,  :
  lavaan WARNING: the optimizer warns that a solution has NOT been found!
7: In lav_model_estimate(lavmodel = lavmodel, lavpartable = lavpartable,  :
  lavaan WARNING: the optimizer warns that a solution has NOT been found!`

Quando tento rodar o summary, recebo: lavaan 0.6-7 did NOT end normally after 4521 iterations

Acredito que ele esteja parando de rodar devido a falta de memória, uma vez que no Stata, o computador simplesmente reinicia.

Exemplo do código que estou usando:

# Biblioteca ----
library(tidyverse)
library(haven)
library(semPlot)
library(lavaan)

# importando base ----
base <- read_dta("base.dta")

# Rodando o CFA ----

# Atribuindo grupos
mod_cfa <- 'AIL =~ idade_coop + n_pac + sudeste + sul + centro + norte + nordeste
            CONS_SUP =~ reunioes_ano + estrutura_governanca + membros + comite
            ESTR_CAP =~ cs_sobre_cooperados + soma_pl_deposito + ativocomp + pl_sobre_ativos + roa'

# Rodando cfa
cfa_coop <- cfa(mod_cfa,
                data = base,
                missing = "default",
                estimator = "WLSMV",
                orthogonal = FALSE, 
                ordered = names(base)
)

# Resultados
summary(cfa_coop, standardized = T, fit.measures = T,  modindices = F)

fitMeasures(cfa_coop, c("chisq","df","pvalue","cfi","tli","rmsea"))

Exemplo da base:

structure(list(cnpj = c("554656546", "767867868687", "132131232", 
"876768", "786765", "786575", "78678686", 
"65767568", "45678", "8675867"), niveis_superv = c("2", 
"2", "2", "0", "0", "0", "2", "2", "2", "0"), classe_bc = c("02", 
"02", "02", "01", "01", "02", "02", "02", "02", "01"), idade_coop = c(22, 
22, 22, 22, 22, 22, 22, 21, 21, 21), n_pac = c(1, 10, 11, 1, 
1, 3, 13, 4, 1, 1), sudeste = c(0, 1, 0, 1, 1, 0, 1, 1, 1, 1), 
    sul = c(0, 0, 1, 0, 0, 1, 0, 0, 0, 0), centro = c(0, 0, 0, 
    0, 0, 0, 0, 0, 0, 0), nordeste = c(1, 0, 0, 0, 0, 0, 0, 0, 
    0, 0), norte = c(0, 0, 0, 0, 0, 0, 0, 0, 0, 0), atuacao_regional = c(1, 
    1, 1, 1, 1, 1, 1, 1, 1, 1), atuacao_estadual = c(0, 0, 0, 
    0, 0, 0, 0, 0, 0, 0), atuacao_nacional = c(0, 0, 0, 0, 0, 
    0, 0, 0, 0, 0), qtd_cooperados = c(1288, 3461, 11310, 1203, 
    4530, 3274, 7954, 3090, 983, 633), auditor = c("0", "1", 
    "1", "1", "1", "1", "1", "1", "1", "1"), contratar_auditoria_ind = c("2", 
    "2", "2", "2", "1", "2", "2", "2", "2", "2"), reunioes_ano = c(12, 
    12, 12, 12, 12, 12, 12, 12, 12, 12), estrutura_governanca = c("3", 
    "3", "3", "1", "2", "1", "3", "3", "2", "3"), membros = c(9, 
    7, 16, 6, 7, 9, 15, 7, 3, 3), comite = c("0", "0", "0", "1", 
    "0", "0", "0", "0", "0", "0"), cs_sobre_cooperados = c(6324.9228515625, 
    5602.01416015625, 6778.712890625, 790.086608886719, 1236.85620117188, 
    2393.3583984375, 6248.63232421875, 6032.5859375, 9310.8828125, 
    1582.30786132812), soma_pl_deposito = c(27017868, 75570352, 
    523851488, 1025653.1875, 6256179, 46703636, 409542080, 60845500, 
    10978892, 1100099.625), ativocomp = c(27371496, 143889792, 
    535524864, 1117028.25, 7135122.5, 63281840, 429233920, 93440432, 
    11219289, 1256903.25), pl_sobre_ativos = c(0.195353165268898, 
    0.0269169881939888, 0.0544663555920124, 0.611539125442505, 
    0.440605372190475, 0.0862450525164604, 0.0495623573660851, 
    0.0553100071847439, 0.432251751422882, 0.297396898269653), 
    roa = c(0.0260528121143579, 0.0159006342291832, 0.0089608347043395, 
    0.027274627238512, 0.0233467519283295, 0.00636459980159998, 
    0.0053424290381372, -0.0262128747999668, 0.0410496257245541, 
    0.0629174262285233), deposito_sobre_ativo = c(0.636883497238159, 
    0.341013759374619, 0.805505573749542, 0, 0, 0.594665348529816, 
    0.818691551685333, 0.405729651451111, 0.0734363198280334, 
    0), capital_social = c(8146501, 19388572, 76667240, 950474.1875, 
    5602958.5, 7835855, 49701624, 18640690, 9152598, 1001600.875
    )), row.names = c(NA, -10L), class = c("tbl_df", "tbl", "data.frame"
))

PS: Sei que tem perguntas parecidas, mas elas tratam de quando a base é grande, não de quando a regressão exige muito da ram.

1 Resposta 1

1

Se você estiver no Linux, você poder rodar o htop no terminal e acompanhar o consumo de memória RAM.

Mas o que pode ser o problema para você é o que está descrito no warning do lavaan:

lavaan WARNING: some ordered categorical variable(s) have more than 12 levels: idade_coop n_pac membros cs_sobre_cooperados soma_pl_deposito ativocomp pl_sobre_ativos roa
lavaan WARNING: correlation between variables sul and sudeste is (nearly) 1.0
lavaan WARNING: correlation between variables ativocomp and soma_pl_deposito is (nearly) 1.0

Tente reajustar primeiro retirando somente a variável sul ou sudeste. Bem como retire ativocomp ou soma_pl_deposito, pois a correlação é próxima de 1.

Se ainda assim o problema persistir (levar muitas iterações), pode pensar em 2 alternativas:

  • Mudar a forma que as variáveis entram no modelo ou a estrutura da CFA.
  • Mudar o otimizador em lavOptions para o BFGS e ver se o resultado melhora (nos meus estudos, o nlminb sempre funciona melhor que o BFGS). Ex.: cfa(your_model, data = your_data, optim.method = "BFGS")
4
  • Como eu faço para alterar para "BFGS"? Quando coloco na opção control, da erro.
    – rtheodoro
    Commented 22/02/2021 às 16:10
  • sobre verificar a memoria RAM, infelizmente rodo no servidor, que é windows.
    – rtheodoro
    Commented 22/02/2021 às 16:18
  • 1
    Deve existir alguma opção no windows para monitorar RAM no servidor, eu que não sei. Para usar o BFGS: cfa(model, data = HolzingerSwineford1939, optim.method = "BFGS"). Excluir as variáveis não resolveu? Commented 22/02/2021 às 18:53
  • Desculpe a demora! Resolveu, ele rodou aqui! Obrigado!
    – rtheodoro
    Commented 3/03/2021 às 19:22

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .