Skip to main content
Acrescentado código e uma explicação.
Fonte Link
Rui Barradas
  • 19mil
  • 2
  • 14
  • 28

Para ler os dados e filtrá-los ao mesmo tempo vou usar o pacote sqldf que acho ser ideal para isso uma vez que permite filtrar os dados com instruções SELECT da linguagem SQL. Isto evita sobrecarregar o .GlobalEnv e a memória com dados inúteis.

1. Ver quais os ficheiros a ler

csv_files <- list.files(pattern = "MATRICULA_.*\\.CSV")
csv_files
#[1] "MATRICULA_CO.CSV"       "MATRICULA_NORDESTE.CSV"
#[3] "MATRICULA_NORTE.CSV"    "MATRICULA_SUDESTE.CSV" 
#[5] "MATRICULA_SUL.CSV" 

2. Qual o tamanho do ficheiro da pergunta
Para saber quantas linhas tem o ficheiro utilizo o comando unix/Linux wc. A chamada ao sistema operacional é feita com system2 que é atualmente o comando R recomendado para tal.

system2("wc", csv_files[2])
#  15304590   15304590 3927158117 MATRICULA_NORDESTE.CSV

O ficheiro tem mais de 15 milhões de linhas e 3,6 GB.

3. Ler os dados

library(sqldf)

SQL <- "select * from file where CO_UF = '27'"
t0 <- system.time(
  dados <- read.csv2.sql(csv_files[2], sql = SQL, sep = "|")
)
t0
#  usuário   sistema decorrido 
#  324.799    20.892   514.291 

dim(dados)
#[1] 933873    104

No meu sistema foram precisos 8.5 minutos para ler e filtrar os dados. Não houve qualquer erro.
A base final tem cerca de 930 mil observações de 104 variáveis, o que representa

100*nrow(dados)/15304590
#[1] 6.101915

apenas 6,10% dos dados do ficheiro.

Para ler os dados e filtrá-los ao mesmo tempo vou usar o pacote sqldf que acho ser ideal para isso uma vez que permite filtrar os dados com instruções SELECT da linguagem SQL. Isto evita sobrecarregar o .GlobalEnv e a memória com dados inúteis.

1. Ver quais os ficheiros a ler

csv_files <- list.files(pattern = "MATRICULA_.*\\.CSV")
csv_files
#[1] "MATRICULA_CO.CSV"       "MATRICULA_NORDESTE.CSV"
#[3] "MATRICULA_NORTE.CSV"    "MATRICULA_SUDESTE.CSV" 
#[5] "MATRICULA_SUL.CSV" 

2. Qual o tamanho do ficheiro da pergunta
Para saber quantas linhas tem o ficheiro utilizo o comando unix/Linux wc. A chamada ao sistema operacional é feita com system2 que é atualmente o comando R recomendado para tal.

system2("wc", csv_files[2])
#  15304590   15304590 3927158117 MATRICULA_NORDESTE.CSV

O ficheiro tem mais de 15 milhões de linhas e 3,6 GB.

3. Ler os dados

library(sqldf)

SQL <- "select * from file where CO_UF = '27'"
t0 <- system.time(
  dados <- read.csv2.sql(csv_files[2], sql = SQL, sep = "|")
)
t0
#  usuário   sistema decorrido 
#  324.799    20.892   514.291 

dim(dados)
#[1] 933873    104

No meu sistema foram precisos 8.5 minutos para ler e filtrar os dados. Não houve qualquer erro.
A base final tem cerca de 930 mil observações de 104 variáveis

Para ler os dados e filtrá-los ao mesmo tempo vou usar o pacote sqldf que acho ser ideal para isso uma vez que permite filtrar os dados com instruções SELECT da linguagem SQL. Isto evita sobrecarregar o .GlobalEnv e a memória com dados inúteis.

1. Ver quais os ficheiros a ler

csv_files <- list.files(pattern = "MATRICULA_.*\\.CSV")
csv_files
#[1] "MATRICULA_CO.CSV"       "MATRICULA_NORDESTE.CSV"
#[3] "MATRICULA_NORTE.CSV"    "MATRICULA_SUDESTE.CSV" 
#[5] "MATRICULA_SUL.CSV" 

2. Qual o tamanho do ficheiro da pergunta
Para saber quantas linhas tem o ficheiro utilizo o comando unix/Linux wc. A chamada ao sistema operacional é feita com system2 que é atualmente o comando R recomendado para tal.

system2("wc", csv_files[2])
#  15304590   15304590 3927158117 MATRICULA_NORDESTE.CSV

O ficheiro tem mais de 15 milhões de linhas e 3,6 GB.

3. Ler os dados

library(sqldf)

SQL <- "select * from file where CO_UF = '27'"
t0 <- system.time(
  dados <- read.csv2.sql(csv_files[2], sql = SQL, sep = "|")
)
t0
#  usuário   sistema decorrido 
#  324.799    20.892   514.291 

dim(dados)
#[1] 933873    104

No meu sistema foram precisos 8.5 minutos para ler e filtrar os dados. Não houve qualquer erro.
A base final tem cerca de 930 mil observações de 104 variáveis, o que representa

100*nrow(dados)/15304590
#[1] 6.101915

apenas 6,10% dos dados do ficheiro.

Erro ortográfico corrigido. Acrescentado código e uma explicação.
Fonte Link
Rui Barradas
  • 19mil
  • 2
  • 14
  • 28

Para ler os dados e filtrá-los ao mesmo tempo vou usar o pacote sqldf que acho ser ideal para isso uma vez que permite filtrar os dados com instruções SELECT da linguagem SQL. Isto evita sobrecarregar o .GlobalEnv e a memória com dados inúteis.

1. Ver quais os ficheiros a ler

csv_files <- list.files(pattern = "MATRICULA_.*\\.CSV")
csv_files
#[1] "MATRICULA_CO.CSV"       "MATRICULA_NORDESTE.CSV"
#[3] "MATRICULA_NORTE.CSV"    "MATRICULA_SUDESTE.CSV" 
#[5] "MATRICULA_SUL.CSV" 

2. Qual o tamanho do ficheiro da pergunta
Para saber quantas linhas tem o ficheiro utilizo o comando unix/Linux wc. A chamdachamada ao sistema operacional é feita com system2 que é atualmente o comando R recomendado para tal.

system2("wc", csv_files[2])
#  15304590   15304590 3927158117 MATRICULA_NORDESTE.CSV

O ficheiro tem mais de 15 milhões de linhas e 3,6 GB.

3. Ler os dados

library(sqldf)

SQL <- "select * from file where CO_UF = '27'"
t0 <- system.time(
  dados <- read.csv2.sql(csv_files[2], sql = SQL, sep = "|")
)
t0
#  usuário   sistema decorrido 
#  324.799    20.892   514.291 

dim(dados)
#[1] 933873    104

No meu sistema foram precisos 8.5 minutos para ler e filtrar os dados. Não houve qualquer erro.
A base final tem cerca de 930 mil observações de 104 variáveis

Para ler os dados e filtrá-los ao mesmo tempo vou usar o pacote sqldf que acho ser ideal para isso uma vez que permite filtrar os dados com instruções SELECT da linguagem SQL. Isto evita sobrecarregar o .GlobalEnv e a memória com dados inúteis.

1. Ver quais os ficheiros a ler

csv_files <- list.files(pattern = "MATRICULA_.*\\.CSV")
csv_files
#[1] "MATRICULA_CO.CSV"       "MATRICULA_NORDESTE.CSV"
#[3] "MATRICULA_NORTE.CSV"    "MATRICULA_SUDESTE.CSV" 
#[5] "MATRICULA_SUL.CSV" 

2. Qual o tamanho do ficheiro da pergunta
Para saber quantas linhas tem o ficheiro utilizo o comando unix/Linux wc. A chamda ao sistema operacional é feita com system2 que é atualmente o comando R recomendado para tal.

system2("wc", csv_files[2])
#  15304590   15304590 3927158117 MATRICULA_NORDESTE.CSV

O ficheiro tem mais de 15 milhões de linhas e 3,6 GB.

3. Ler os dados

library(sqldf)

SQL <- "select * from file where CO_UF = '27'"
t0 <- system.time(
  dados <- read.csv2.sql(csv_files[2], sql = SQL, sep = "|")
)
t0
#  usuário   sistema decorrido 
#  324.799    20.892   514.291 

No meu sistema foram precisos 8.5 minutos para ler e filtrar os dados. Não houve qualquer erro.

Para ler os dados e filtrá-los ao mesmo tempo vou usar o pacote sqldf que acho ser ideal para isso uma vez que permite filtrar os dados com instruções SELECT da linguagem SQL. Isto evita sobrecarregar o .GlobalEnv e a memória com dados inúteis.

1. Ver quais os ficheiros a ler

csv_files <- list.files(pattern = "MATRICULA_.*\\.CSV")
csv_files
#[1] "MATRICULA_CO.CSV"       "MATRICULA_NORDESTE.CSV"
#[3] "MATRICULA_NORTE.CSV"    "MATRICULA_SUDESTE.CSV" 
#[5] "MATRICULA_SUL.CSV" 

2. Qual o tamanho do ficheiro da pergunta
Para saber quantas linhas tem o ficheiro utilizo o comando unix/Linux wc. A chamada ao sistema operacional é feita com system2 que é atualmente o comando R recomendado para tal.

system2("wc", csv_files[2])
#  15304590   15304590 3927158117 MATRICULA_NORDESTE.CSV

O ficheiro tem mais de 15 milhões de linhas e 3,6 GB.

3. Ler os dados

library(sqldf)

SQL <- "select * from file where CO_UF = '27'"
t0 <- system.time(
  dados <- read.csv2.sql(csv_files[2], sql = SQL, sep = "|")
)
t0
#  usuário   sistema decorrido 
#  324.799    20.892   514.291 

dim(dados)
#[1] 933873    104

No meu sistema foram precisos 8.5 minutos para ler e filtrar os dados. Não houve qualquer erro.
A base final tem cerca de 930 mil observações de 104 variáveis

Fonte Link
Rui Barradas
  • 19mil
  • 2
  • 14
  • 28

Para ler os dados e filtrá-los ao mesmo tempo vou usar o pacote sqldf que acho ser ideal para isso uma vez que permite filtrar os dados com instruções SELECT da linguagem SQL. Isto evita sobrecarregar o .GlobalEnv e a memória com dados inúteis.

1. Ver quais os ficheiros a ler

csv_files <- list.files(pattern = "MATRICULA_.*\\.CSV")
csv_files
#[1] "MATRICULA_CO.CSV"       "MATRICULA_NORDESTE.CSV"
#[3] "MATRICULA_NORTE.CSV"    "MATRICULA_SUDESTE.CSV" 
#[5] "MATRICULA_SUL.CSV" 

2. Qual o tamanho do ficheiro da pergunta
Para saber quantas linhas tem o ficheiro utilizo o comando unix/Linux wc. A chamda ao sistema operacional é feita com system2 que é atualmente o comando R recomendado para tal.

system2("wc", csv_files[2])
#  15304590   15304590 3927158117 MATRICULA_NORDESTE.CSV

O ficheiro tem mais de 15 milhões de linhas e 3,6 GB.

3. Ler os dados

library(sqldf)

SQL <- "select * from file where CO_UF = '27'"
t0 <- system.time(
  dados <- read.csv2.sql(csv_files[2], sql = SQL, sep = "|")
)
t0
#  usuário   sistema decorrido 
#  324.799    20.892   514.291 

No meu sistema foram precisos 8.5 minutos para ler e filtrar os dados. Não houve qualquer erro.