Aqui vão algumas dicas p/ resolver o seu problema:
1 - Leia o arquivo usando outra função:
> microbenchmark(
+ base = read.csv(file = "df-write-csv.csv", header = T),
+ readr = readr::read_csv("df-write-csv.csv"),
+ data.table = data.table::fread("df-write-csv.csv"),
+ rio = rio::import("df-write-csv.csv", format = "csv")
+ )
Unit: microseconds
expr min lq mean median uq max neval
base 1836.230 1912.1815 2253.6071 1980.3995 2282.1675 4148.787 100
readr 823.960 881.3625 1072.4790 921.6605 1120.2365 3538.359 100
data.table 327.759 364.4810 442.5933 402.3295 458.7895 920.436 100
rio 312.317 351.2260 444.1087 382.9325 439.7960 2938.490 100
Veja que ler o arquivo com a função fread
do data.table
ou com a função import
do rio
é 4x mais rápido do que com a função nativa do R.
Verifique se você realmente conseguiu ler.
2 - Verifique que você realmente conseguiu filtrar o seu banco de dados. Salve o resultado do subset em um objeto auxiliar.
Se o problema for esse, tente filtrar usando funções de outros pacotes como dplyr
ou data.table
.
Quando são operações longas, o data.table
consegue ser muito mais rápido.
> df <- data.frame(x = 1:100000, y = 1:100000, l = sample(letters, size = 100, replace = T))
> microbenchmark(
+ base = subset(df, l == "a"),
+ dplyr = dplyr::filter(df, l == "a"),
+ data.table = data.table(df)[l == "a",]
+ )
Unit: milliseconds
expr min lq mean median uq max neval
base 10.329514 12.467143 14.962479 13.976907 17.171858 24.3761 100
dplyr 7.331626 8.624356 10.063947 8.853807 11.140871 16.8939 100
data.table 2.986519 4.580536 6.774548 4.824227 5.957255 119.9709 100
3 - Use a função write_csv
do pacote readr
ela é mais ou menos 2x mais rápida do que a função write.csv
nativa do R.
microbenchmark(
base = write.csv(df, file = "df-write-csv.csv", row.names = F),
rio = rio::export(df, file = "df-rio.csv", format = "csv"),
readr = readr::write_csv(df, path = "df-readr.csv")
)
Unit: microseconds
expr min lq mean median uq max neval
base 713.564 1097.534 2025.377 1467.4980 2996.136 4168.352 100
rio 718.141 1156.998 2243.143 2011.5310 3106.479 7368.046 100
readr 366.306 594.629 1265.297 734.0445 1793.405 5852.142 100
Enfim, se você conseguiu ler o arquivo de 5GB, é muito provável que você também consiga escrevê-lo, uma vez que ele já está na RAM do seu computador.
ff
resolve seu problema.