13

Estou escrevendo um script, que vou tornar público, para abrir os micro-dados da RAIS (desidentificados, disponíveis aqui) no R usando o MonetDB. Entretanto o banco não aceita vígula (,) como separador decimal. Cada arquivo UFano.txt da RAIS é bem grande (podendo chegar a 7GB) por isso a solução não pode requerer que modificações que caibam na memória RAM. Duas alternativas:

a) importar para o banco, como se tudo fosse string, e depois fazer dentro do SQL um UPDATE criando novas colunas para as variáveis numéricas e fazendo a susbtituição de "," por ".".

b) pre-processar o arquivo, substituindo no .txt o que for vírgula por ponto.

A perguta é sobre a alternativa "b".

Há alguma forma eficiente de fazer esta substituição? O AjDamico indica uma forma lenta, substituindo linha por linha aqui.

Como exemplo podemos partir do arquivo do Acre de 2012 (AC2012.txt), que disponibilizo neste link

Como é para ser empacotada como comando de R, a solução não pode depender do SO nem requerer a instalação de coisas fora do R.

3 Respostas 3

4

Fiz uma solução parcial (que não deve ser a mais eficiente) que lê o arquivo em chunks e vai salvando em um csv, já com o decimal como ponto ao invés de vírgula. Daí é só você definir o tamanho do chunk que cabe na sua RAM. Funcionou com o arquivo de teste do ACRE, em tese funcionaria com arquivos maiores.

chunks <- 40000
acre <- read.csv2("AC2012.txt", fileEncoding="latin1", nrows=chunks, stringsAsFactors=FALSE)
write.table(acre, "teste.csv",sep=",")
oldrows <- chunks
while(nrow(acre)>0){
  acre <- read.csv2("AC2012.txt", fileEncoding="latin1", nrows=chunks, skip=oldrows, 
                               stringsAsFactors=FALSE)
  cat("Lido: linhas", oldrows, "a", oldrows + nrow(acre), "\n")
  oldrows <- oldrows+nrow(acre)
  write.table(acre, "teste.csv", col.names=FALSE, append=TRUE, sep=",")
}

# testando
original <- read.csv2("AC2012.txt", fileEncoding="latin1",stringsAsFactors=FALSE)
novo <- read.csv("teste.csv", header=TRUE,sep=",", stringsAsFactors=FALSE, row.names=NULL)
all.equal(novo[-1], original)
TRUE

Testei também a solução proposta na pergunta do Damico, com chunks, e está é mais rápida, pelo menos neste exemplo:

file.create("acre.txt")
outcon <- file( "acre.txt" , "w" )
incon <- file("AC2012.txt" , "r" )
while( length( one.line <- readLines( incon , 40000 , encoding="latin1") ) > 0 ){
  one.line <- gsub( ',' , '.' , one.line )
  writeLines( one.line , outcon )
}
4

Muito boa a solução @CarlosCinelli. Mas uma solução alternativa é utilizando o pacote iterators. A função change_dot() basicamente lê uma linha, troca o ',' pelo '.' e escreve a linha em um arquivo de texto.

library(iterators)

change_dot <- function(file, saida='teste.txt', chunk=1) {
  con1 <- file(file, 'r')
  con2 <- file(saida, open = 'w')
  linha <- 0
  it <- ireadLines(con1, n=chunk)
  out <- tryCatch(expr=write(x = gsub(pattern = ',', replacement = '.', x = nextElem(it)), con2), 
                   error=function(e) e)

  while(!any(class(out) == "error")) {
    linha = linha + 1
    print(paste('Escrita linha ', linha))
    out <- tryCatch(expr=write(x = gsub(pattern = ',', replacement = '.', x = nextElem(it)), con2, append = T), 
                  error=function(e) e)
  }
}

system.time(change_dot(file = 'AC2012.txt', saida = 'saida.csv'))



 user  system elapsed 
  48.65    4.70   53.04

Nesse arquivo, o AC2012.txt, o procedimento demorou 48 segundos na minha máquina.

Aqui cabe notar que é possível aumentar o tamanho do chunk para valores maiores que 1. Por exemplo, aumentando para 40000 obtive os seguintes tempos utilizando esta solução, e a solução do Damico:

change_ponto <- function() {
            file.create("acre.txt")
            outcon <- file( "acre.txt" , "w" )
            incon <- file("AC2012.txt" , "r" )
            while( length( one.line <- readLines( incon , 40000 , encoding="latin1") ) > 0 ){
              one.line <- gsub( ',' , '.' , one.line )
              writeLines( one.line , outcon )
            }
}

system.time(change_ponto())

 user  system elapsed 
   6.53    0.82    7.36

system.time(change_dot(file = 'AC2012.txt', saida = 'teste4.csv', chunk = 40000))

 user  system elapsed 
   6.71    3.12    9.92 

E agora testando se os arquivos são iguais:

    teste2 <- read.csv("acre.txt", header=F, sep=";", stringsAsFactors=FALSE, row.names=NULL)
    teste4 <- read.csv("teste4.csv", header=F, sep=";", stringsAsFactors=FALSE, row.names=NULL)
    all.equal(teste2, teste4)

[1] TRUE

Eu escrevi um post sobre o iterators no meu blog há um tempo atrás: http://www.rmining.com.br/2015/09/07/preparacao-de-dados-parte-2/

3

Agradeço ao @CarlosCinelli e o @FlavioBarros pelas ótimas respostas. Decidi por uma 3a alternativa à minha pergunta acima, usando o pacote "ff" para importar os dados no R para um "ffdf" e depois exportar para um CSV tradicional:

dat <- read.csv2.ffdf(file="AC2012.txt", strip.white=TRUE,
                      na.strings = c('{ñclass}','{ñ','{ñ class}','{ñc','000-1')))
write.csv.ffdf(dat, "AC2012.csv")

Medi o tempo total decorrido. Para o Acre são 4,65s parar ler e 5,17s para salvar, num hard-disk SSD. Para todo os arquivos estaduais da RAIS de 2002, cujos .txt ocupam 11.8GB, foram no total 29min para importar e 35min para exportar.

Usar o pacote ff tem algumas vantagens:

  • O pacote ff decide como otimizar entre disco e RAM ao importar os dados. O usário não pensa nisso e usa uma função com sintaxe usual (read.csv2).
  • Assim como no read.csv2, a função read.csv2.ffdf pressupõe que o .CSV é Europeu/Latino, usando "," como separador decimal e ";" como separador de campo
  • A função também lida com outros problemas da atual versão dos arquivos da RAIS como alguns campos com espaços em banco antes do dado (ex: " 999") e as strings usdas para identificar missings ( "{ñclass}", "{ñ", "{ñ class}", "{ñc", "000-1"). Após corrigidos estes problemas o tamanho dos arquivos de 2002 diminui para 4,7GB, menos da metade.

Talvez uma devantagem seja que o pacote ff não aguente bases extermamente grandes, enquanto que as demais soluções deste post são escalonáveis sem grandes problemas.

1
  • Muito bom @LucasMation! Commented 14/10/2014 às 13:14

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .