Estou tentando ler um arquivo .txt de 3.5GB linha a linha e salvar no mongo db. As colunas usam o separador "|" e estou usando o Node js com Express. Fiz o teste com um arquivo menor de 43 linhas e deu tudo certo mas com o arquivo maior não estou conseguindo e nem recebo mensagem de erro. Ja consegui salvar o mesmo arquivo no MySql mas com o Mongo não to conseguindo. A requisição demora um pouco em seguida o servidor cai e nada acontece. O código é o seguinte:
const express = require('express');
const router = express.Router();
const Salario = require('../models/Salarios');
const lineReader = require('line-reader');
let i = 0;
router.get('/import', function(req, res) {
lineReader.eachLine('./teste.txt', function (line, last) {
let str = line;
let arr = str.split("|");
let salario = new Salario();
salario.cd_ugestora = arr[0];
salario.de_ugestora = arr[1];
salario.de_cargo = arr[2];
salario.de_tipocargo = arr[3];
salario.cd_cpf = arr[4];
salario.dt_mesanorefencia = arr[5];
salario.no_servidor = arr[6];
salario.vl_vantagens = arr[7];
salario.de_uorcamentaria = arr[8];
salario.save(function(err) {
if (err) res.send(err);
console.log(i + " - adicionado!");
i++;
});
if (last) {
res.json({ message: 'Importado com sucesso!' });
}
});
});
Alguém já passou por isso?