6

Estou utilizado Node.js em uma tarefa onde preciso migrar dados entre dois bancos PostgreSQL. A idéia é mais ou menos a seguinte:

  1. Conectar no Banco A.
  2. Conectar no Banco B.
  3. Retornar todos os registros de A.
  4. Inserir em B todos os Registros de A ainda não presentes.
  5. Atualizar em A um campo em todos os registros que foram copiados.
  6. Fechar todas as conexões.

A minha dúvida está em como manter as duas conexões abertas simultaneamente. Acredito que preciso fazer assim pois os dados, como eu disse, vão transitar entre dois bancos, e não acho uma boa idéia ficar abrindo e fechando a conexão no banco B para cada registro de A encontrado. Estou usando o pacote pg como interface com o DB. Alguém já precisou fazer algo assim e/ou saberia me dizer como proceder?

2 Respostas 2

1
+50

Oi. Acredito que isso pode ser resolvido mais ou menos assim:

var pg = require('pg');
//bancoA
var conString = "postgres://username:password@localhost/database";
var client1 = new pg.Client(conString);
//bancoB
var conString = "postgres://username:password@localhost/database";
var client2 = new pg.Client(conString);

Agora você tem conexão aos dois bancos.

Para retornar todos os registros de A:

    var query = client1.query('select * from table');
    //Acho que isso teria que ser feito tabela por tabela
    var rows = [];
    query.on('row', function(row) {
      rows.push(row);
    });
   //Esse codigo precisa ser testado. 
   //Nao tenho absoluta certeza de que isso funciona dessa forma. 
   //Teoricamente a variavel rows estaria com todos os registros
   //que o postgres tinha na tabela.

A partir desse ponto, temos que definir qual vai ser a logica que vamos usar para definirmos quais valores serão inseridos no banco B,visto que serão apenas os registros ainda não presentes.

Acredito que a melhor forma de fazer isso é fazer o mesmo select no client2. A partir daí teríamos um valor para a variável rows com os valores já inseridos na tabela do BancoB. E aí seria necessária só uma lógica simples para deletar os valores de rowsDeA que já existem em rowsDeB.

Vale lembrar de que, dependendo do tamanho das tabelas e a periodicidade que isso vai acontecer, esse código pode ser extremamente custoso. Se a ideia é fazer disso um run contínuo(para manter um servidor de backup, ou qualquer coisa do tipo), talvez seja melhor criar uma lógica que insira os valores no BancoB ao mesmo tempo que no BancoA.

Mais um disclaimer: Não tenho certeza de que isso vai funcionar, mas vale o teste :)

0

Você pode resolver esse problema usando um método que atrasa a requisição de uma função chamado setInterval()

Ex:

const sql = require('mssql')
const { ConnectionPool } = require('mssql')
const { sendMessage } = require('../notification/index')

const pools = {}
 
// create a new connection pool
CreatePool = (config) => {
    let key = JSON.stringify(config)

    if (GetPool(key))
        throw new Error('Pool already exists')

    pools[key] = (new ConnectionPool(config)).connect()
    return pools[key]
}

// get a connection pool from all pools
GetPool = (name) => {
  if (pools[name])
    return pools[name]
  else
    return null
}

// if pool already exists, return it, otherwise create it
GetCreateIfNotExistPool = (config) =>  {
    let key = JSON.stringify(config)

    let pool = GetPool(key)
    if(pool)
        return pool
    else
        return CreatePool(config)
}


/**
 * @description do query in db with current company
 * @author jeffersonguilhermemachadobarreto
 * @version 1.0
 * @param {object} data
 */
const query = () => {

    let data = {
        companyId: 'companyId1
    }

    Promise.resolve(data).then((doc) => {
        setInterval(doRequest(doc), 1000)
    })
}

doRequest = async (data) => {
    let connection = getCompanyConnection(data.companyId)

    try {
        let sqlPool = await GetCreateIfNotExistPool(connection)
        let request = new sql.Request(sqlPool)
    
        let queryDb = `SELECT coluna from tabela`

        request.query(queryDb).then((resp) => {

            // resp é o resultado da sua query

        }).catch((err) => {
            console.error('err', err)
        })

    }
    catch(err) {
        console.error('err', err)
    }
}

const getCompanyConnection = (companyId) => {

    let connection = null

    switch (companyId) {
        case 'company1':
            connection = {
                type: 'mssql',
                database: 'connection1',
                user: 'user',
                password: 'pass',
                server: 'server',
                port: 6666,
                trustServerCertificate: true
            }
            break
        case 'company2':
            connection = {
                type: 'mssql',
                database: 'connection2',
                user: 'user',
                password: 'pass',
                server: 'server',
                port: 6666,
                trustServerCertificate: true
            }
            break
        default:
            break
    }

    return connection
}

module.exports = { query }

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .