Eu tenho uma aplicação em asp.net que utiliza o padrão de arquitetura CQRS e dois bancos de dados um relacional com entity framework e outro com mongodb. A questão é no final do dia, ou em partes do dia, eu devo ter uma aplicação para verificar se os dados nos dois bancos os dados estão iguais, como melhor fazer isso criando uma tabela de log nos dois bancos identificando qual tabela, qual registro e data de atualização e criação foram criados os itens ou tem outra forma de realizar melhor esse sincronismo?
-
"criando uma tabela de log nos dois bancos" isso seria uma alternativa, agora sem conhecer os bancos, tabelas, infra e mais outros fatores, qualquer resposta vai ser baseada em opinioes e não vai ajudar muito– Ricardo PontualCommented 3/02/2021 às 11:16
-
Bem Ricardo não tina visto o seu questionamento antes, o padrão de arquitetura CQRS é nele já são sincronizados os dois bancos quando há alteração de dados, então já há uma sincronização, porém como são servidores distintos pode haver uma falha ao inserir no mongodb, se houver uma falha estava pensando em enviar a um serviço de mensagens,que quando ler a fila atualizaria o mongodb e o entity framework permite criar um registro de logs desta forma sabendo quais tabelas sofreram alteração stackoverflow.com/questions/25245351/…– Anderson TavaresCommented 4/02/2021 às 23:36
1 Resposta
Anderson, se você estiver fazendo essa inserção dos dados no SQL Server para o MongoDB em uma única transação, você já garante que os dados estão iguais, ou seja, só insere no MongoDB se os dados foram inseridos com sucesso no banco relacional e depois faz o commit da transação. Você pode fazer isso usando um TransactionScope.
Se você estiver fazendo essa operação de forma assíncrona, ou seja, insere no banco de dados SQL, joga pra uma fila por exemplo e depois consome dessa fila para jogar no MongoDB. Você pode utilizar um padrão para trabalhar com mensageria chamado OutBox, adaptado pro seu problema. Dessa forma você vai ter uma tabela de tudo que saiu pra sua fila de sincronização, você pode deixar registrado que o dado ainda não foi consumido com sucesso, o processo que vai pegar os dados e inserir no MongoDB é quem vai sinalizar que o consumo dos dados foi feito.
Assim você tem uma tabela que marca a saída dos dados da sua base SQL para o MongoDB, como se fosse uma "caixa de saída". Um beneficio dessa abordagem é que você consegue ver o que ainda não foi sincronizado e pode ter uma aplicação olhando só para essa tabela de sincronismo, que vai te dizer o que foi sincronizado ou não, dando o beneficio de fazer uma nova tentativa de sincronizar os dados, se você fizer uma estrutura pra isso.
-
A proposta é boa de isolar os dados que são do banco relacional e os dos dados que são do nosql. dessa forma apenas o sql server pode disparrar eerro quando houver. Eu tinha visto serviços de fila como RabbitMQ e o Azure Queues e essa ideia que você opinou eu vou colocar em prática, porém esse "serviço automático" pode ocorrer uma falha medium.com/dev-cave/rabbitmq-parte-ii-fa61a469ba2 e penso em criar um "serviço manual" caso haja falha nesse "serviço automático" stackoverflow.com/questions/25245351/… Commented 3/02/2021 às 17:31