7

Tenho um arquivo muito grande para efetuar uma importação de dados para o MongoDB via Javascript. O problema é que não posso carregar o arquivo inteiro na memória.

Gostaria de ler esse arquivo linha por linha, já que cada linha é um registro a ser inserido no meu banco. Sei que a biblioteca fs também trabalha com stream, mas ela só busca tamanhos de bytes predefinidos, sem se preocupar se a linha acabou ou não. Alguém já fez isso?

2 Respostas 2

6

Existe um projeto interessante no GitHub criado especificamente para lidar com esse problema:

Line Reader

Leitor de arquivos linha-a-linha de forma assíncrona.

Exemplo:

var lineReader = require('line-reader');

lineReader.eachLine('file.txt', function(line, last) {
  console.log(line);

  if (/* done */) {
    return false; // stop reading
  }
});

A função eachLine lê cada linha do arquivo dado. Em cima de cada nova linha, a função de retorno é chamada com dois parâmetros: a linha de leitura e um valor booleano que especifica se a linha lida foi a última linha do arquivo. Se o retorno de chamada retornar false, a leitura irá parar e o arquivo será fechado.

1
  • 1
    Excelente opção @Zuul, muito obrigado. Resolveu exatamente o problema, principalmente pela api ter o método nextLine que resolveu de vez o problema. Reputacao++ Commented 2/01/2015 às 16:00
5

Usando métodos nativos do NodeJS tens duas opções pelo menos.

Usando readline

var rl = readline.createInterface({
      input : fs.createReadStream('/path/file.txt'),
      output: process.stdout,
      terminal: false
})
rl.on('line',function(line){
     console.log(line) // aqui podes fazer o que precisas com cada linha
})

Usando fs.readFile()

Neste caso vais lêr o ficheiro todo primeiro e depois partir esse conteúdo por quebra de inha.

fs.readFile('/path/file.txt', 'utf-8', function(err, data){
    var linhas = data.split(/\r?\n/);
    linhas.forEach(function(linha){
       console.log(linha); // aqui podes fazer o que precisas com cada linha
    })
})
1
  • 1
    Obrigado pela ajuda. Sua primeira sugestão era bem próxima ao que eu precisava. Mas a resposta do @Zuul logo abaixo cobriu todas as necessidades que eu tinha. Ainda assim reputação++. Commented 2/01/2015 às 15:59

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .