2

Estou tendo dificuldades para analisar os dados do censo escolar 2019 no R.

Li algumas coisas em outros fóruns e optei por usar o pacote ffbase que lida com bases de dados muito grandes.

Usando o comando abaixo consigo baixar a base no R:

matriculas<- read.csv.ffdf(file="MATRICULA_NORDESTE.csv",header=TRUE)

O problema é que não consigo trabalhar com ela depois, por exemplo, ao tentar rodar:

Analise<-subset.ffdf(matriculas,CO_UF==27)

Me é retornado:

"Error in gsub(varre, varsub, es) : 
  expressão regular inválida "

Alguém poderia me ajudar? A ideia é criar uma base menor (selecionando apenas a UF 27 para que eu consiga trabalhar nela como se fosse um csv normal).

Agradeço desde já.

1
  • Difícil responder sem uma amostra dos dados, mas tente usar CO_UF == "27" Commented 8/02/2020 às 2:04

1 Resposta 1

4

Para ler os dados e filtrá-los ao mesmo tempo vou usar o pacote sqldf que acho ser ideal para isso uma vez que permite filtrar os dados com instruções SELECT da linguagem SQL. Isto evita sobrecarregar o .GlobalEnv e a memória com dados inúteis.

1. Ver quais os ficheiros a ler

csv_files <- list.files(pattern = "MATRICULA_.*\\.CSV")
csv_files
#[1] "MATRICULA_CO.CSV"       "MATRICULA_NORDESTE.CSV"
#[3] "MATRICULA_NORTE.CSV"    "MATRICULA_SUDESTE.CSV" 
#[5] "MATRICULA_SUL.CSV" 

2. Qual o tamanho do ficheiro da pergunta
Para saber quantas linhas tem o ficheiro utilizo o comando unix/Linux wc. A chamada ao sistema operacional é feita com system2 que é atualmente o comando R recomendado para tal.

system2("wc", csv_files[2])
#  15304590   15304590 3927158117 MATRICULA_NORDESTE.CSV

O ficheiro tem mais de 15 milhões de linhas e 3,6 GB.

3. Ler os dados

library(sqldf)

SQL <- "select * from file where CO_UF = '27'"
t0 <- system.time(
  dados <- read.csv2.sql(csv_files[2], sql = SQL, sep = "|")
)
t0
#  usuário   sistema decorrido 
#  324.799    20.892   514.291 

dim(dados)
#[1] 933873    104

No meu sistema foram precisos 8.5 minutos para ler e filtrar os dados. Não houve qualquer erro.
A base final tem cerca de 930 mil observações de 104 variáveis, o que representa

100*nrow(dados)/15304590
#[1] 6.101915

apenas 6,10% dos dados do ficheiro.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .