6

Eu tenho 27 arquivos txt. Cada arquivo representa um estado do brasil. Na verdade, cada arquivo é dataframe sobre mercado de trabalho. Os 27 arquivos podem somar mais de 20 gigas. A primeira coisa que eu fiz para reduzir isto foi salvar cada arquivo em formato Rda. Com isto, por exemplo, 20 gigas de memória podem ser reduzidos para aproximadamente 3 gigas. Isto é muito bom, mas o grande problema é que muitas vezes eu não preciso ler todas as variáveis do dataframe (aproximadamente, 40 variáveis no total) . Por exemplo, no caso do txt, eu posso usar a função fread para ler apenas 3 variáveis:

fread("data.txt", select = c("var1","var2","var3") )

Lamentavelmente, não encontrei uma versão para o caso rda. Resolvi então criar uma função que me permita ler apenas algumas colunas. Tomemos como exemplo um arquivo dos 27: RJ.txt. A ideia é quebrar este dataframe por colunas, salvar cada coluna em formato Rda e guardar tudo em uma pasta. Criei então uma função para fazer isto:

df <- fread ( "RJ.txt") # Leio o arquivo original
arquivo_pasta<- "C:/Meu diretorio/pastaRJ" # Esta é a minha pasta onde vou guardar todas as variáveis.

# Esta é a minha função para salvar
save2<- function(df , arquivo_pasta )
{
dfl <- as.list(df) # nossa matrix agora é uma lista
remove(df)
setwd(arquivo_pasta)
for( i in 1:length(dfl))
{
  v <- dfl[[i]]      
  save(  v , file = paste0( names(dfl)[i], ".Rda" )   )  #salvamos
}
}

Desta maneira, eu tenho uma pasta com as 40 colunas de RJ.txt, cada uma em formato rda. Agora eu crio uma função para ler apenas algumas colunas

read2 <- function(arquivo_pasta , colunas)
{
  setwd(arquivo_pasta)

  # Vamos criar uma matriz, com uma variável auxiliar para poder selecionar apenas as variáveis que queremos
  (path<- list.files(path = arquivo_pasta, all.files = T ,  full.names = T ))
  path<- as.data.frame(path)

  # Criamos a variável auxiliar com apenas o nome da variável
  path$aux<- gsub(arquivo_pasta, "" , path$path)
  path$aux<- gsub("/", "" , path$aux)
  path$aux<- gsub(".Rda", "" , path$aux)

  # Finalmente, selecionamos as colunas
  path <- subset(path , aux %in% colunas )

  # Criamos uma variável auxiliar para poder iniciar o empilhamento
  df_ret <- 1

  for(i in 1:nrow(path))
  {
    load(as.character(path$path[i]))
    dfaux<- data.table(v)
    names(dfaux) <- as.character(path$aux[i])
    df_ret<- cbind(df_ret, dfaux)
  }

  # Excluímos a variável auxiliar 
  df_ret<- df_ret[,df_ret:=NULL]
  return(df_ret)

}

Como vocês podem imaginar, estou fazendo isto porque eu quero me livrar de todos os arquivos txt. O problema é que eu quero fazer isto um pouco mais eficiente e mais rápido. Gostaria de saber se vocês tem alguma ideia de como melhor isto, principalmente, em questão de tempo.

1
  • 1
    Melhorar o tempo de execução de códigos no R não é uma tarefa trivial. Cada caso é um caso. Em geral, se recomenda não usar loops. No teu caso, além dos loops, tem os acessos ao disco, que deixam o código mais lento. Veja se as dicas deste link te ajudam de alguma maneira. Outra coisa que dá pra fazer é tentar trabalhar com pacotes que te permitam ler todos os dados na memória, como sugerido neste post. Commented 16/11/2017 às 15:09

1 Resposta 1

6

Uma boa solução é usar o pacote fst. Note que ele não é ideal para armazenamento a logo prazo uma vez que ainda está em intenso desenvolvimento.

Segundo o README ele comprime tão bem quanto o saveRDS, é mais rápido para ler e escrever e de quebra permite a leitura de apenas algumas colunas.

Exemplo:

# Generate a random data frame with 10 million rows and various column types
nrOfRows <- 1e7

x <- data.frame(
  Integers = 1:nrOfRows,  # integer
  Logicals = sample(c(TRUE, FALSE, NA), nrOfRows, replace = TRUE),  # logical
  Text = factor(sample(state.name, nrOfRows, replace = TRUE)),  # text
  Numericals = runif(nrOfRows, 0.0, 100),  # numericals
  stringsAsFactors = FALSE)

# Store it
  write.fst(x, "dataset.fst")

# Retrieve it
  y <- read.fst("dataset.fst")

# Ler só algumas linhas e colunas
 read.fst("dataset.fst", c("Logicals", "Text"), 2000, 4990) # subset rows and columns
4
  • O que você quer dizer com armazenamento ao longo prazo? Quer dizer que não é seguro guardar meus dados com este formato? Que riscos eu corro?
    – MAOC
    Commented 16/11/2017 às 16:38
  • 1
    Eles dizem no pacote assim: Note to users: The binary format used for data storage by the package (the 'fst file format') is expected to evolve in the coming months. Therefore, fst should not be used for long-term data storage. O risco é você não conseguir acessar os dados com as versões mais novas do pacote. (Você sempre pode usar a versão mais antiga para ler e salvar novamente com a nova). Commented 16/11/2017 às 16:40
  • Testei aqui salvando em formato fst e rda. Salvando, de fato, a função write.fst foi bem mais rápida que o save., embora o espaço ocupado pelo rda é um pouco menor que o fst. Já a leitura, o load é um pouco mais rápido que read.fst (quando leio todas as variáveis). Mas acho que vale a pena. Vou continuar testando.
    – MAOC
    Commented 16/11/2017 às 17:34
  • 1
    Parece que ele tem um parâmetro compression que vai afetar a velocidade e o espaço que o arquivo vai ocupar no disco. Commented 16/11/2017 às 17:37

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .