Eu tenho 27 arquivos txt. Cada arquivo representa um estado do brasil. Na verdade, cada arquivo é dataframe sobre mercado de trabalho. Os 27 arquivos podem somar mais de 20 gigas. A primeira coisa que eu fiz para reduzir isto foi salvar cada arquivo em formato Rda. Com isto, por exemplo, 20 gigas de memória podem ser reduzidos para aproximadamente 3 gigas. Isto é muito bom, mas o grande problema é que muitas vezes eu não preciso ler todas as variáveis do dataframe (aproximadamente, 40 variáveis no total) . Por exemplo, no caso do txt, eu posso usar a função fread para ler apenas 3 variáveis:
fread("data.txt", select = c("var1","var2","var3") )
Lamentavelmente, não encontrei uma versão para o caso rda. Resolvi então criar uma função que me permita ler apenas algumas colunas. Tomemos como exemplo um arquivo dos 27: RJ.txt. A ideia é quebrar este dataframe por colunas, salvar cada coluna em formato Rda e guardar tudo em uma pasta. Criei então uma função para fazer isto:
df <- fread ( "RJ.txt") # Leio o arquivo original
arquivo_pasta<- "C:/Meu diretorio/pastaRJ" # Esta é a minha pasta onde vou guardar todas as variáveis.
# Esta é a minha função para salvar
save2<- function(df , arquivo_pasta )
{
dfl <- as.list(df) # nossa matrix agora é uma lista
remove(df)
setwd(arquivo_pasta)
for( i in 1:length(dfl))
{
v <- dfl[[i]]
save( v , file = paste0( names(dfl)[i], ".Rda" ) ) #salvamos
}
}
Desta maneira, eu tenho uma pasta com as 40 colunas de RJ.txt, cada uma em formato rda. Agora eu crio uma função para ler apenas algumas colunas
read2 <- function(arquivo_pasta , colunas)
{
setwd(arquivo_pasta)
# Vamos criar uma matriz, com uma variável auxiliar para poder selecionar apenas as variáveis que queremos
(path<- list.files(path = arquivo_pasta, all.files = T , full.names = T ))
path<- as.data.frame(path)
# Criamos a variável auxiliar com apenas o nome da variável
path$aux<- gsub(arquivo_pasta, "" , path$path)
path$aux<- gsub("/", "" , path$aux)
path$aux<- gsub(".Rda", "" , path$aux)
# Finalmente, selecionamos as colunas
path <- subset(path , aux %in% colunas )
# Criamos uma variável auxiliar para poder iniciar o empilhamento
df_ret <- 1
for(i in 1:nrow(path))
{
load(as.character(path$path[i]))
dfaux<- data.table(v)
names(dfaux) <- as.character(path$aux[i])
df_ret<- cbind(df_ret, dfaux)
}
# Excluímos a variável auxiliar
df_ret<- df_ret[,df_ret:=NULL]
return(df_ret)
}
Como vocês podem imaginar, estou fazendo isto porque eu quero me livrar de todos os arquivos txt. O problema é que eu quero fazer isto um pouco mais eficiente e mais rápido. Gostaria de saber se vocês tem alguma ideia de como melhor isto, principalmente, em questão de tempo.