2

Tenho um arquivo em .csv MUITO grande que não consigo ler no R. Tentei assim:

dados19 <- read.csv("microdados_censo_superior_2019/dados/SUP_ALUNO_2019.CSV", sep="|", dec=".")

É o censo da educação superior 2019 pode ser encontrado em https://www.gov.br/inep/pt-br/acesso-a-informacao/dados-abertos/microdados/censo-da-educacao-superior

Contudo, eu não preciso do arquivo todo, só de algumas colunas (as colunas que preciso são: CO_CURSO, TP_SEXO, TP_COR_RACA e IN_MATRICULA). Haveria a possibilidade de carregar/ selecionar apenas as colunas que desejo? Sem precisar ler o arquivo todo?

2 Respostas 2

2

Complementando a resposta de @lmonferrari. Como os arquivos de microdados são muito grandes, usarei o conjunto mtcars de exemplo:

write.csv(mtcars[1:3,], "exemplo.csv")

data.table

A função fread do pacote data.table tem a opção select para especificar as colunas desejadas por nomes ou números.

library(data.table)

> fread("exemplo.csv", select = c("disp", "wt", "gear"))
   disp    wt gear
1:  160 2.620    4
2:  160 2.875    4
3:  108 2.320    4

É mais rápida que read.table e faz um bom trabalho determinando automaticamente separador e símbolo decimal (mas podem ser especificados manualmente).

sqldf

Importa e lida data.frames como banco de dados, com suporte para declarações SQL. No caso da função para ler arquivos, isso pode ser usado não apenas para selecionar colunas mas também linhas por condição.

library(sqldf)

> read.csv.sql("exemplo.csv", sql = "select disp,wt,gear from file where carb > 2")
  disp    wt gear
1  160 2.620    4
2  160 2.875    4
1
  • Muito obrigada! Vou olhar todas essas funções. Commented 21/01/2021 às 14:39
1
dados19 <- read.csv('./SUP_ALUNO_2019.CSV', sep = '|', dec = '.',
               colClasses = c('NULL','NULL','NULL','NULL','integer',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','integer',
                              'integer','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','NULL',
                              'NULL','NULL','NULL','NULL','integer',
                              'NULL','NULL','NULL','NULL','NULL'))

Colocando NULL no colClasses você não carrega a coluna(pula a coluna). Cada valor desse dentro do array indica uma variável, note que as variáveis que são mantidas estão como integer.

5
  • Deu super certo! Muito obrigada! Sou iniciante e estava há um tempão tentando. Commented 21/01/2021 às 14:38
  • @AlexsandraGomes, bom dia! Por nada, fico feliz que funcionou, como você é iniciante sempre poste suas dúvidas no site que o pessoal tenta ajudar. Abraço! Commented 21/01/2021 às 14:45
  • lmonferrari, fui mudar a variável 11 (CO_CINE_ROTULO) colocando 'integer' nela e mostra o seguinte erro: Error in scan(file = file, what = what, sep = sep, quote = quote, dec = dec, : scan() esperava 'an integer', obteve '0421D01'. Você tem ideia de como resolver? Commented 27/01/2021 às 18:27
  • @AlexsandraGomes, boa tarde! Essa coluna é formada por números e caracteres, você deve passar o tipo de dado da coluna como character. Abraço! Commented 27/01/2021 às 20:21
  • @AlexsandraGomes, boa noite! Você digitou NUL onde o certo é NULL, por isso está dando esse erro. Abraço! Commented 28/01/2021 às 1:26

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .