1

Meu conector de banco de dados mongo para nodejs, após um tempo executando dispara o erro ENOBUFS, derrubando todas as conexões tcp do computador.. os demais aplicativos alegam esgotamento tcp.. porem nao consegui resolver o problema, ao que parece após cada query a aplicação deixa a conexão aberta.. Para diagnosticar a respeito do source do erro foi feito a "derrubada" do serviço mongodb e foi reestabelecidas as conexões de imediato.

segue abaixo os dados

string de conexão

const mongoUrl = 'mongodb://localhost:27017/?readPreference=primary&appname=meuAplicativo&ssl=false&authSource=database01&keepAlive=false&poolSize=5&agent=false';

abertura de conexão com servidor

MongoClient.connect(mongoUrl, { "useUnifiedTopology": true, /*directConnection :true,*/ keepAlive: false, maxPoolSize:20},   async function(err, client) {
                        if(err) throw err
    
                        // entra na base de dados      
                        const database = client.db(mongoDBName);  
                        findAndModifyTags(__postBody['data'], database, 0, res, null);
                    });

Query

//seleciona coleção de dados
tagCollection = database.collection('values');

//procura e atualiza registro
tagCollection.updateOne(query, update,{returnNewDocument: false, upsert: true, new: true}, (error) => 
{
    if(!error) {
        console.log(`Successfully updated document`)
        //console.log(`Successfully updated document: ${JSON.stringify(doc)}.`)
    } else {
        console.log("No document matches the provided query.")
        console.log(error)
    }
    
    //resposta positiva    
    res.write("{'status': 'ok'}");
    res.end();
});  

Detalhes do Erro

debug ->  2021-3-19 9:45:56 AM notnull
debug ->  2021-3-19 9:45:56 AM notnull
debug ->  2021-3-19 9:45:56 AM has data
(node:28792) UnhandledPromiseRejectionWarning: MongoServerSelectionError: connect ENOBUFS 127.0.0.1:27017 - Local (undefined:undefined)
    at Timeout.waitQueueMember.timer.setTimeout [as _onTimeout] (E:\Projetos\Telemetria Raspberry Zero\node_modules\mongodb\lib\core\sdam\topology.js:438:30)
    at ontimeout (timers.js:436:11)
    at tryOnTimeout (timers.js:300:5)
    at listOnTimeout (timers.js:263:5)
    at Timer.processTimers (timers.js:223:10)
(node:28792) UnhandledPromiseRejectionWarning: Unhandled promise rejection. This error originated either by throwing inside of an async function without a catch block, or by rejecting a promise which was not handled with .catch(). (rejection id: 357)

como pode ser visto, já fiz a redução do pool e alguns procedimentos mais, porém ainda continuo com o erro

6
  • Em qual momento é criada a conexão? Poderia adicionar o código que contém a criação da conexão e em qual momento do ciclo de vida é feita a comunicação com o banco de dados?
    – Danizavtz
    Commented 19/03/2021 às 13:31
  • Na verdade ja esta descrito acima... no primeiro trecho MongoClient.connect, no ciclo de vida da aplicação ela basicamente recebe uma requisição post e adiciona ao banco de dados, as requisições são feitas a cada 10 segundos por cada cliente, mas por hora o teste é com apenas um cliente ele para apos 2160 requisições em media Commented 19/03/2021 às 13:55
  • Eu perguntei porque em minhas aplicações mongodb eu tenho apenas 1 conexão por processo. Nunca tive este problema, talvez se pudesse ver como está estruturada a minha aplicação ajude.
    – Danizavtz
    Commented 19/03/2021 às 13:56
  • no caso você abre a conexão e deixa ela aberta para todas as requisições? Vou tentar, para ver se melhora Commented 19/03/2021 às 14:00
  • Se quiser ter um projeto para se inspirar pode ver em meu github o projeto tokenAuthMongo.
    – Danizavtz
    Commented 19/03/2021 às 14:01

1 Resposta 1

1

Nesta solução fazemos a conexão com o mongo apenas no momento do npm start (um alias para node bin/www). Verificar no meu package.json a seção scritps.

Depois de criar a conexão apenas usamos para efetuar consultas ao banco.

Para um melhor entendimento da solução eu uso o modelo de arquitetura definido pelo express-generator, para saber mais.

A estrutura de diretórios:

.
├── app.js
├── bin
│   └── www
├── db
│   └── index.js
├── package.json
└── server
    |── routes
    |   └── tag.route.js
    ├── services
    |   └── tag.service.js
    └── index.js

No arquivo db/index.js faço uso da lib mongodb, e exportamos duas funções connect() e get(). A função get vai obter a instância de nosso banco de dados, seguindo a mesma ideia do padrão de projeto singleton.

db/index.js

const MongoClient = require('mongodb').MongoClient;
const url = `mongodb://${process.env.MONGOHOST}:${process.env.MONGOPORT}`
let dbinstance;

// Use connect method to connect to the server
connect = (callback) => {
    MongoClient.connect(url, { useUnifiedTopology: true }, (err, client) => {
        dbinstance = client.db(process.env.MONGONAME);
        callback (err);
    })
}

get = () => {
    return dbinstance;
}

module.exports = {
    connect,
    get
}

bin/www

#!/usr/bin/env node
const app = require('../app');
const dbinstance = require('../db/index')
dbinstance.connect(() => {
    app.listen(process.env.PORT);
    console.log(`Listening at http://localhost:${process.env.PORT}`);
});

Em nosso service apenas importamos nossa lib do banco de dados(bd/index.js) e sempre que consultar o banco utilizar o método get() como pode-se ver no trecho seguinte:

server/services/tag.service.js

const db = require('../../db/index');
const ObjectId = require('mongodb').ObjectID;

exports.updateTagbyId = (req, res) => {
    const options = {returnNewDocument: false, upsert: true, new: true}
    db.get().collection('tag').findOneAndUpdate({_id: ObjectId(req.params.id)}, {$set: {"name": req.body.name }}, options).then((result) => {
        if (result.value === null) {
            res.status(404).json({ msg: 'Não encontrado' })
            return
        }
        res.status(200).json({ status: 'ok' });
    }).catch((err) => {
        console.log(err)
        res.status(500).json({ msg: 'pff, houve um erro' })
    })
}

Nesta implementação estou usando o res.json porém é possível continuar usando o res.write da maneira que você faz em seu código.

Desta forma chamamos a função connect() apenas no bin/www em nossa camada do service estamos apenas usando a conexão através do método get().

package.json

//...
"scripts": {
    "dev": "nodemon ./bin/www",
    "start": "node ./bin/www"
},
"keywords": [
    "express",
    "mongodb"
],
//...

Em minha implementação tomei a liberdade de refatorar algumas partes, por exemplo é possível ver em seu código que mesmo que haja um erro o retorno é 200. Então neste meu código existe o tratamento para este caso, em seu código usa o modelo de callback para consultar o mongodb, no meu eu uso o promise/then/catch.

Mais algumas coisas recomendações que não fazem parte do código mas que são necessárias:

  1. Quando eu faço a inserção no banco de dados eu incluo apenas os atributos que fazem parte do meu modelo. Isso vai evitar a inclusão de registros desnecessários e economizar alguns centavos de armazenamento.
  2. A inclusão de um registro só é feita após sanitizar e validar os dados. Isso vai evitar a inclusão de entradas maliciosas e execução de código remoto.
1
  • perfeito.. estou fazendo um teste com esta metodologia para ver se o erro persiste.. ate agora parece ok.. mas vou aguardar passar o montante de dados no qual disparava o erro Commented 22/03/2021 às 16:51

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .