Estou pensando em migrar meu ERP (atualmente em java) de um banco de dados relacional (atualmente em Firebird) para um NoSQL (provavelmente MongoDB). Estou planejando e tentando antecipar os possíveis problemas. O objetivo é construir um controle que nunca deixar a quantidade do item ficar negativa. Ainda estou com o viés de ACID, o que dificulta essa migração. Consegui resolver todos os problemas do restante do sistema, mas ainda restam 2 situações no controle de estoque que hoje são resolvidas com triggers.
Problema 1
Um pedido com 2 itens (bola quantidade = 2 e cadeira quantidade = 1) e não há quantidade suficiente no estoque (bola quantidade = 1 e cadeira = 0) para concluir a movimentação de estoque do pedido. Assim que tento movimentar os estoques do pedido, executo um laço para baixar a quantidade de estoque de cada item, um a um. Consequentemente, haveria uma falha na movimentação por não ter estoque suficiente e o rollback aconteceria. No caso do MongoDB, cada 'documento' seria equivalente a uma quantidade de um item pra diminuir, ou seja, não há transação entre documentos no MongoDB.
Problema 2
Em uma palavra: concorrência. Suponha que não há triggers controlando esse cenário, apenas select
s retornando a quantidade atual e um if
pra dizer se tem quantidade ou não, item a item. O primeiro usuário vê a quantidade de estoque suficiente (bola quantidade = 2, cadeira quantidade = 1) e o sistema libera a movimentação de estoque e a conclusão do pedido. Mas, enquanto a transação do primeiro usuário está sendo executada, um segundo usuário tenta fazer a mesma movimentação, mas como a primeira transação ainda não terminou, o segundo usuário também vê bola quantidade = 2, cadeira quantidade = 1 quando consulta o estoque, e o sistema também libera (erroneamente) a movimentação de estoque. Consequentemente, a cadeira seria decrementada 2 vezes quando só poderia ser 1 vez, e acabo com estoque negativo.
Eu vi algumas alternativas como reserva de estoque mas acho que não servem pra mim. Por favor, não pense num e-commerce ou PDV. Pense num grande armazém cheio de bobinas que pesam 1 tonelada e custam 1 milhão de reais cada uma, e que não podem ser movidas facilmente e nem ter o estoque reservado (por causa das regras de negócio). Além disso, com 1000 filiais espalhadas pelo país com 10 vendedores em cada tentando movimentar os mesmos itens. Pense em dez mil clicks por minuto.
Inicialmente eu pensei em isolar somente a função de movimentação de estoque no Firebird, mas acho que ele não aguenta dez mil clicks por minuto.
Cheguei a fazer um teste: fiz uma aplicação com Spring Boot e Firebird pra fazer essas movimentações. Para testar essa demanda de concorrência, usei o JMeter e coloquei 100 usuários (o objetivo são 10000) que tentam fazer essa movimentação, sem intervalo de início entre eles. Consegui no máximo 9 operações concorrentes com sucesso de movimentação de estoque dos mesmos itens. O Firebird devolve o erro:
'deadlock, update conflicts with concurrent update....', 'SQL Error: 335544336, SQLState 40001'
Estou usando Firebird 3, Debian 9, Java 8 e Hibernate 5.0.11.final.
Andei lendo e pensando, e se usar apache Kafka Transaction Streams com o MongoDB? Será que o Kafka consegue enfileirar as requisições de forma que eu consiga testar a quantidade de todos os itens do pedido antes de movimentar, e só movimentar se houver estoque. E, só depois, processar a próxima solicitação de movimentação. Será que isso é possível?
Como construir esse sistema/funcionalidade com NoSQL atendendo esses requisitos? Ou como construir com Firebird mesmo, mas considerando esse resultado que obtive com o JMeter?