2

Estou tentando ler um arquivo .txt de 3.5GB linha a linha e salvar no mongo db. As colunas usam o separador "|" e estou usando o Node js com Express. Fiz o teste com um arquivo menor de 43 linhas e deu tudo certo mas com o arquivo maior não estou conseguindo e nem recebo mensagem de erro. Ja consegui salvar o mesmo arquivo no MySql mas com o Mongo não to conseguindo. A requisição demora um pouco em seguida o servidor cai e nada acontece. O código é o seguinte:

const express = require('express');
const router = express.Router();
const Salario = require('../models/Salarios');
const lineReader = require('line-reader');

let i = 0;

    router.get('/import', function(req, res) {
        lineReader.eachLine('./teste.txt', function (line, last) {

            let str = line;
            let arr = str.split("|");

            let salario = new Salario();
            salario.cd_ugestora = arr[0];
            salario.de_ugestora = arr[1];
            salario.de_cargo = arr[2];
            salario.de_tipocargo = arr[3];
            salario.cd_cpf = arr[4];
            salario.dt_mesanorefencia = arr[5];
            salario.no_servidor = arr[6];
            salario.vl_vantagens = arr[7];
            salario.de_uorcamentaria = arr[8];

            salario.save(function(err) {
                if (err) res.send(err); 
                console.log(i + " - adicionado!");
                i++;
            });

            if (last) {
                res.json({ message: 'Importado com sucesso!' });
            }

        });
    });

Executando top no terminal:inserir a descrição da imagem aqui

Alguém já passou por isso?

0

1 Resposta 1

1

Para ter a certeza do caminho do ficheiro podes usar var caminho = __dirname + '/teste.txt';. Assim garantes que o lineReader não muda o caminho.

0

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .