2

Como importar uma base de 20 milhoes de linhas com 24 variáveis. Há duas variáveis que são string. A base está importando essas duas variaveis como numeric e excluindo os zeros no início. Estou utilizando o seguinte comando:

base <-read.csv("base.csv",header = TRUE,   sep=";", dec="." , quote = "", encoding = "UTF-8", stringsAs = FALSE)

2 Respostas 2

6

Esse é um trabalho para o readr!

Com o readr você consegue ler a linhas e ele detecta automaticamente o tipo das variáveis. Veja um exemplo:

library(readr)
sc <- read_csv2(file = '/media/backup/Microdados/sc2017.csv')
nrow(sc)

esse arquivo é o arquivo da RAIS relativo a todo o estado de Santa Catarina. Ele se encontra no formato CSV e está disponível aqui.

Além de tudo o readr é muito mais rápido e mais eficiente.

Só para você ver como fica no final:

inserir a descrição da imagem aqui

2
  • Obrigada! Essa função deu certo e no final ele mostrou quais linhas estão com problemas. Descobrir um string que começava com "" e acabou toda a linha a partir desse nome em uma única variável. Essa função read_csv2 está junto com o comando 'Import Dataset' no Environment do RStudio. Clicando lá ele faz uma prévia das 200 primeiras linhas e vc consegue modificar qual tipo de variável que vc quer. Bem prático! Commented 2/05/2019 às 23:18
  • @NataliaSoares caso tenha escolhido essa resposta dé o tick para escolher e fechar a pergunta. Commented 3/05/2019 às 15:58
1

Utilize o argumento colClasses da função read.csv, onde se anunciará a classe de cada coluna.
Exemplo:

colClasses = c("character", "character", "complex", "factor", "factor", "character", "integer", "integer", "numeric", "character", "character", "Date", "integer", "logical")

Minha sugestão é anunciar colClasses = rep("character", 24) e depois ir mudando a classe de cada coluna.

1
  • Obrigada Marcio! Anoite essa função rep("character", 24) Commented 2/05/2019 às 23:22

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .