0

Estou pensando em migrar meu ERP (atualmente em java) de um banco de dados relacional (atualmente em Firebird) para um NoSQL (provavelmente MongoDB). Estou planejando e tentando antecipar os possíveis problemas. O objetivo é construir um controle que nunca deixar a quantidade do item ficar negativa. Ainda estou com o viés de ACID, o que dificulta essa migração. Consegui resolver todos os problemas do restante do sistema, mas ainda restam 2 situações no controle de estoque que hoje são resolvidas com triggers.

Problema 1

Um pedido com 2 itens (bola quantidade = 2 e cadeira quantidade = 1) e não há quantidade suficiente no estoque (bola quantidade = 1 e cadeira = 0) para concluir a movimentação de estoque do pedido. Assim que tento movimentar os estoques do pedido, executo um laço para baixar a quantidade de estoque de cada item, um a um. Consequentemente, haveria uma falha na movimentação por não ter estoque suficiente e o rollback aconteceria. No caso do MongoDB, cada 'documento' seria equivalente a uma quantidade de um item pra diminuir, ou seja, não há transação entre documentos no MongoDB.

Problema 2

Em uma palavra: concorrência. Suponha que não há triggers controlando esse cenário, apenas selects retornando a quantidade atual e um if pra dizer se tem quantidade ou não, item a item. O primeiro usuário vê a quantidade de estoque suficiente (bola quantidade = 2, cadeira quantidade = 1) e o sistema libera a movimentação de estoque e a conclusão do pedido. Mas, enquanto a transação do primeiro usuário está sendo executada, um segundo usuário tenta fazer a mesma movimentação, mas como a primeira transação ainda não terminou, o segundo usuário também vê bola quantidade = 2, cadeira quantidade = 1 quando consulta o estoque, e o sistema também libera (erroneamente) a movimentação de estoque. Consequentemente, a cadeira seria decrementada 2 vezes quando só poderia ser 1 vez, e acabo com estoque negativo.

Eu vi algumas alternativas como reserva de estoque mas acho que não servem pra mim. Por favor, não pense num e-commerce ou PDV. Pense num grande armazém cheio de bobinas que pesam 1 tonelada e custam 1 milhão de reais cada uma, e que não podem ser movidas facilmente e nem ter o estoque reservado (por causa das regras de negócio). Além disso, com 1000 filiais espalhadas pelo país com 10 vendedores em cada tentando movimentar os mesmos itens. Pense em dez mil clicks por minuto.

Inicialmente eu pensei em isolar somente a função de movimentação de estoque no Firebird, mas acho que ele não aguenta dez mil clicks por minuto.

Cheguei a fazer um teste: fiz uma aplicação com Spring Boot e Firebird pra fazer essas movimentações. Para testar essa demanda de concorrência, usei o JMeter e coloquei 100 usuários (o objetivo são 10000) que tentam fazer essa movimentação, sem intervalo de início entre eles. Consegui no máximo 9 operações concorrentes com sucesso de movimentação de estoque dos mesmos itens. O Firebird devolve o erro:

'deadlock, update conflicts with concurrent update....', 'SQL Error: 335544336, SQLState 40001'

Estou usando Firebird 3, Debian 9, Java 8 e Hibernate 5.0.11.final.

Andei lendo e pensando, e se usar apache Kafka Transaction Streams com o MongoDB? Será que o Kafka consegue enfileirar as requisições de forma que eu consiga testar a quantidade de todos os itens do pedido antes de movimentar, e só movimentar se houver estoque. E, só depois, processar a próxima solicitação de movimentação. Será que isso é possível?

Como construir esse sistema/funcionalidade com NoSQL atendendo esses requisitos? Ou como construir com Firebird mesmo, mas considerando esse resultado que obtive com o JMeter?

2
  • 1
    pra mim parece o tipo de problema que fica melhor em SQL. Se precisar de alguns campos extras que precisem de características NoSQL poderia usar uma base que aceite isso, como o PostgreSQL com seu tipo "JSONB". Esse banco ainda tem a vantagem de ter a performance que você precisa.
    – jsbueno
    Commented 15/01/2018 às 17:41
  • Lendo teus requisitos/testes lembrei dessa página da documentação do MongoDB. Concordo com as considerações do Victor Stafusa na resposta dele, é de se avaliar uma abordagem híbrida, pois essa solução da documentação deve adicionar bastante trabalho no final das contas. Agora se a concorrência é crítica assim como a consistência, dá uma olhada na proposta que tem alí. Commented 16/01/2018 às 22:00

2 Respostas 2

4

Antes de trocar o Firebird, eu sugeriria tentar uma solução usando um outro banco de dados transacional como o MariaDB. Para você ter um ideia, o MariaDB é usado pela wikipedia que tem um volume de transações monstruoso (embora a wikipedia esteja longe de ser completamente transacional). Outra sugestão seria o PostgreSQL.

Pessoalmente não considero o Firebird bom para executar grandes transações no volume que você descreve porque ele normalmente armazena todos os dados em um único arquivo FDB. Dessa forma, ele fica bastante vulnerável a problemas de fragmentação de arquivos no disco e tem que lidar com o trade-off entre economizar espaço e otimizar desempenho. Há um monte de coisas que podem ser tunadas nisso e é possível fazê-lo trabalhar com múltiplos arquivos, mas acho que colocar o MariaDB ou o PostgreSQL no lugar acaba sendo bem mais fácil.

A meu ver (posso estar errado aqui, pois não conheço com profundidade suficiente), a maior vantagem do Firebird é a possibilidade de copiar o banco de dados inteiro como um ou mais arquivos para algum outro lugar facilmente, algo muito útil para diversas aplicações desktop que tenham que ser copiadas facilmente de uma pasta para outra, ou para pen-drives ou para CDs carregando todos os seus dados junto. Mas essa vantagem não é algo que me pareça ser de qualquer valia no seu caso específico.

Ainda mantendo-se no banco de dados transacional, você poderia tentar uma solução baseada em lock otimista. Isso daí aumentaria a concorrência do seu banco de dados baseando-se no princípio de que a probabilidade de uma mesma tupla estar sendo modificada por dois processos simultaneamente é baixa, e que mesmo se isso ocorrer, essa condição é detectável e pode ser tratada. Isso também pode ser uma boa saída para evitar-se deadlocks.

O paradigma NoSQL é algo que sacrifica a consistência para obter ganho de performance. O NoSQL tem o conceito de consistência eventual, onde um dado recém-atualizado pode ainda não estar disponível para todos os seus usuários, mas tornar-se-á disponível dado o tempo necessário para tal. Entretanto, no seu cenário a consistência forte parece ser um requisito sagrado e a consistência eventual não te serviria, o que é um indício de que o NoSQL pode não ser a saída que você procura.

Se ainda quiser uma solução baseada em NoSQL, pense em uma solução híbrida, onde parte do sistema é transacional e parte é NoSQL. A ideia aqui seria desonerar o transacional o máximo possível. Uma solução baseada em Data Warehouse também é útil de se pensar nesse sentido.

Outra saída seria a desnormalização de algumas tabelas mais "quentes", para que as transações envolvam a manipulação de menos linhas em menos tabelas, ao custo de haver redundâncias e maior consumo de espaço em disco (e isso seria mitigado de outras formas).

Quanto ao Kafka, não sei o que dizer.

3
  • Muito obrigado pela resposta. Eu utilizei lock otimista (timestamping direto no banco), mas mesmo assim deu deadlock. Claro q eu forcei bastante a barra: programei pra toda vez q um usuario movimentar o estoque, decrementa 1 qtde de todos os itens. Alem disso, como falei, tentei com 100 usuarios simultaneos no JMeter. Sobre testar com MariaDB e Postgree, acho q sao testes validos. Mas gostaria de me ater ao maximo em nosql, jah q teria q mudar. Por isso tb a ideia do kafka, pq usaria mongodb e acrescentaria o kafka para cooperar. Mas o q vc disse eh muito mais com a ideia de sistema poliglota. Commented 15/01/2018 às 18:56
  • Gosto do firebird pq jah o conheco bem, pela questao q vc comentou sobre portabilidade da base, e tb pq eh facil embarca-lo, o q me levaria bastante para um microservico mesmo. É possivel embarcar o mariadb e tb portar tao facilmente a base de dados? Commented 15/01/2018 às 18:57
  • 1
    @RaphaelStefani É possível embarcar o MariaDB e o PostgreSQL sim, mas é algo razoavelmente complicado de se fazer. O paradigma deles é diferente, pois para usar esses bancos de dados em produção do jeito que você faz, o ideal é que eles fossem instalados em servidores dedicados. Assim sendo, ao invés de embarcar, você faz backups completos e a portabilidade se reduziria a criar uma ISO/backup do HD/storage inteiro. Existem ferramentas de backup bastante sofisticadas e especializadas para ambos. Commented 15/01/2018 às 19:26
-1

Vamos ao que se refere ao Kafka.

Talvez esteja chegando tarde mas....

O Kafka consegue lidar ai com 100.000 tpm.

Então ele trabalha com volumes bem altos tranquilo, claro que vai muito da infra que você tem disponível para ele, visto que a cada requisição ele abre um numero de arquivos do sistema operacional, armazena todas essas requisições em um determinado numero de dias, com isso incha o disco da maquina e tudo mais.

Vamos pro fluxo, o Kafka, não terá contato direto com o MongoDB, alguem vai produzir um json, que vai entrar em um topico do kafka e vai ficar lá.

Você teria que fazer um stream que olha essa questão da disponibilidade de um item, isso é feito, em teoria, fora do Kafka, então você pega o JSON, valida os itens, vê se tem em estoque, ai você poderia formatar duas mensagens baseadas no resultado dessa validação do stream.

Uma para quando houver o produto em estoque, então você colocaria em um topico exclusivo para pedidos cujo o produto tem em estoque.

Outro para quando o pedido não tem produto no estoque.

Com isso, você faria consumidores que ficam olhando esses topicos de resposta e tomando as ações, os que tem produto em estoque, faz a movimentação, os que não tem, segue seu fluxo de trabalho.

Eu escrevi aqui abaixo um post sobre como o kafka funciona, talvez ajude com os termos e com as questões arquiteturais mais básicas.

O que é esse tal de Apache Kafka?

abraço

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .