6

Estou tentando de todas as formas mexer em um arquivo de 5GB para minha monografia.

O código que estou tentando entrar no R é o seguinte:

> write.csv(subset(read.csv("enem.csv", header=TRUE), UF_ESC=="SP"), "filtro.csv", row.nomes=FALSE)

Já testei com um arquivo modelo é deu tudo certo, mas no banco de dados original não. Imagino que seja pelo tamanho, pois, fica pensando e nada.

Se alguém tiver uma outra ideia para ajudar será de enorme ajuda.

4
  • 1
    Não deu certo porque não terminou de rodar? Provavelmente é sim porque o arquivo é pesado. Você já rodou esta análise em dados dessa magnitude? Quanto tempo ficou rodando? Quanto de RAM tem o computador?
    – Molx
    Commented 17/01/2016 às 1:09
  • André, coloque as informações do computador que você está usando na pergunta. Também vale você consultar essas respostas e ver se elas te ajudam: pt.stackoverflow.com/questions/30631/… Commented 17/01/2016 às 11:54
  • Carlos, a configuração da minha maquina é a seguinte: Meméria 2.9GB, Processador Intel CPU 585 2.16GHz e 32 bit. Tá rodando o Ubuntu 14.04 LTS. Seu link pode ajudar muito, por enquanto, ele me deu varias ideias que vou ver se coloco em pratica. Commented 18/01/2016 às 23:24
  • Você tem o link para o csv? Se possível, passe o link aqui para podermos testar as soluções. Essa sua pergunta está muito similar a essa aqui: pt.stackoverflow.com/questions/35469/… provavelmente o pacote ff resolve seu problema. Commented 28/01/2016 às 9:29

2 Respostas 2

7

Aqui vão algumas dicas p/ resolver o seu problema:

1 - Leia o arquivo usando outra função:

> microbenchmark(
+   base = read.csv(file = "df-write-csv.csv", header = T),
+   readr = readr::read_csv("df-write-csv.csv"),
+   data.table = data.table::fread("df-write-csv.csv"),
+   rio = rio::import("df-write-csv.csv", format = "csv")
+ )
Unit: microseconds
       expr      min        lq      mean    median        uq      max neval
       base 1836.230 1912.1815 2253.6071 1980.3995 2282.1675 4148.787   100
      readr  823.960  881.3625 1072.4790  921.6605 1120.2365 3538.359   100
 data.table  327.759  364.4810  442.5933  402.3295  458.7895  920.436   100
        rio  312.317  351.2260  444.1087  382.9325  439.7960 2938.490   100

Veja que ler o arquivo com a função fread do data.table ou com a função importdo rio é 4x mais rápido do que com a função nativa do R. Verifique se você realmente conseguiu ler.

2 - Verifique que você realmente conseguiu filtrar o seu banco de dados. Salve o resultado do subset em um objeto auxiliar. Se o problema for esse, tente filtrar usando funções de outros pacotes como dplyr ou data.table.

Quando são operações longas, o data.table consegue ser muito mais rápido.

> df <- data.frame(x = 1:100000, y = 1:100000, l = sample(letters, size = 100, replace = T))
> microbenchmark(
+   base = subset(df, l == "a"),
+   dplyr = dplyr::filter(df, l == "a"),
+   data.table = data.table(df)[l == "a",]
+ )
Unit: milliseconds
       expr       min        lq      mean    median        uq      max neval
       base 10.329514 12.467143 14.962479 13.976907 17.171858  24.3761   100
      dplyr  7.331626  8.624356 10.063947  8.853807 11.140871  16.8939   100
 data.table  2.986519  4.580536  6.774548  4.824227  5.957255 119.9709   100

3 - Use a função write_csv do pacote readr ela é mais ou menos 2x mais rápida do que a função write.csv nativa do R.

microbenchmark(
  base = write.csv(df, file = "df-write-csv.csv", row.names = F),
  rio = rio::export(df, file = "df-rio.csv", format = "csv"),
  readr = readr::write_csv(df, path = "df-readr.csv")
)

Unit: microseconds
  expr     min       lq     mean    median       uq      max neval
  base 713.564 1097.534 2025.377 1467.4980 2996.136 4168.352   100
   rio 718.141 1156.998 2243.143 2011.5310 3106.479 7368.046   100
 readr 366.306  594.629 1265.297  734.0445 1793.405 5852.142   100

Enfim, se você conseguiu ler o arquivo de 5GB, é muito provável que você também consiga escrevê-lo, uma vez que ele já está na RAM do seu computador.

1
  • Daniel, não tem como eu carrega todo o arquivo na memória, infelizmente. Depois que eu extrair os dados que vou usar em meu trabalho ficará muito menor. Commented 18/01/2016 às 23:46
1

André, como você só vai filtrar o seu banco de dados e depois disso ele vai ficar muito menor, você pode lê-lo em chunks. Para isso você pode fazer da seguinte forma:

Só p/ testar criei o seguinte arquivo "grande":

library(readr)
library(dplyr)
x <- data.frame(x = runif(3e6), y = 1:3e6)
write_csv(x, path = "test.csv")

O seguinte trecho de código lê o banco de dados em pequenas partes (tam_chunk), filtra essas partes e depois salva em um arquivo chamado filtrado.csv.

Veja se dessa forma funciona. Deve ser demorado, mas pelo menos você consegue passar pelo problema da memória:

# criando a conexão com o arquivo grande
arq_grande <- file("test.csv", "r")
tam_chunk <- 1e5 # tamanho do chunk
# lendo as 100 primeiras linhas do banco de dados e criando
# o arquivo filtrado
df1 <- read.csv(arq_grande, nrows = 100, header = T)
df_filtrado <- df1 %>% filter(x <= 0.5)
write.table(df_filtrado, "filtrado.csv", row.names = F, sep = ",", dec = ".")
# iniciando o loop de leitura em chunks
n_row <- 1
repeat {
  ## process data...
  ## ...then read the next chunk
  df <- read.csv(arq_grande, header=FALSE, col.names = names(df1), nrows = tam_chunk)
  cat("Read", nrow(df), "rows\n")
  if (nrow(df) == 0)                # done yet?
    break
  df_filtrado <- df %>% filter(x <= 0.5) # filtrar o data.frame
  # salvar o data.frame
  write.table(df_filtrado, "filtrado.csv", append = T, 
              col.names = F, row.names = F, sep = ",", dec = ".")
}
close(arq_grande)

Essa resposta foi muito inspirada nesta resposta do Stack Overflow em Inglês.

5
  • Daniel, obrigado pela ajuda. Mais quando tentei usar sua resposta dá o seguinte erro: "Não foi possível encontrar a função %>%". Tentei busca alguma informação sobre isso mais sem sucesso. O erro ocorre na seguinte linha do código: df_filtrado <- df1 %>% filter(x <= 0.5) Commented 21/01/2016 às 20:53
  • @AndréOliveira provavelmente vc não estava com o pacote dplyr carregado. Instale ele usando install.packages("dplyr") e depois use o comando library(dplyr)para carregá-lo. Commented 25/01/2016 às 14:59
  • vc estava certo tive que atualizar o R e tudo mais. Agora o código vai, mas só escreve as primeiras linhas, as do looping não escreve. Commented 26/01/2016 às 21:14
  • aparece algum erro? Commented 26/01/2016 às 21:15
  • não só fala que que leu mais de 70 mil linhas mais só escreve as primeiras 1000 linhas. Tentei de tudo mais consegui. Commented 26/01/2016 às 21:25

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .