Para ler os dados e filtrá-los ao mesmo tempo vou usar o pacote sqldf
que acho ser ideal para isso uma vez que permite filtrar os dados com instruções SELECT
da linguagem SQL
. Isto evita sobrecarregar o .GlobalEnv
e a memória com dados inúteis.
1. Ver quais os ficheiros a ler
csv_files <- list.files(pattern = "MATRICULA_.*\\.CSV")
csv_files
#[1] "MATRICULA_CO.CSV" "MATRICULA_NORDESTE.CSV"
#[3] "MATRICULA_NORTE.CSV" "MATRICULA_SUDESTE.CSV"
#[5] "MATRICULA_SUL.CSV"
2. Qual o tamanho do ficheiro da pergunta
Para saber quantas linhas tem o ficheiro utilizo o comando unix/Linux wc
. A chamada ao sistema operacional é feita com system2
que é atualmente o comando R recomendado para tal.
system2("wc", csv_files[2])
# 15304590 15304590 3927158117 MATRICULA_NORDESTE.CSV
O ficheiro tem mais de 15 milhões de linhas e 3,6 GB.
3. Ler os dados
library(sqldf)
SQL <- "select * from file where CO_UF = '27'"
t0 <- system.time(
dados <- read.csv2.sql(csv_files[2], sql = SQL, sep = "|")
)
t0
# usuário sistema decorrido
# 324.799 20.892 514.291
dim(dados)
#[1] 933873 104
No meu sistema foram precisos 8.5 minutos para ler e filtrar os dados. Não houve qualquer erro.
A base final tem cerca de 930 mil observações de 104 variáveis, o que representa
100*nrow(dados)/15304590
#[1] 6.101915
apenas 6,10% dos dados do ficheiro.