Skip to main content
Pergunta fechada como "Muito ampla" por Largato
Revisão de português
Fonte Link
Victor Stafusa
  • 64,9mil
  • 9
  • 120
  • 189

Estou pensando em migrar meu ERP (atualmente em java) de um banco de dados relacional (atualmente em Firebird) para um NoSQL (provavelmente MongoDB). Estou planejando e tentando antecipar os possíveis problemas. O objetivo é construir um controle que nunca deixar a quantidade do item ficar negativa. Ainda estou com o viés de ACID, o que dificulta essa migração. Consegui resolver todos os problemas do restante do sistema, mas ainda restam 2 situações no controle de estoque que hoje são resolvidas com triggers.

Problema 1

Um pedido com 2 itens (bola quantidade = 2 e cadeira quantidade = 1) e não há quantidade suficiente no estoque (bola quantidade = 1 e cadeira = 0) para concluir a movimentação de estoque do pedido. Assim que tento movimentar os estoques do pedido, executo um laço para baixar a quantidade de estoque de cada item, um a um. Consequentemente, haveria uma falha na movimentação por não ter estoque suficiente e o rollback aconteceria. No caso do MongoDB, cada 'documento' seria equivalente a uma quantidade de um item pra diminuir, ou seja, não há transação entre documentos no MongoDB.

Problema 2

Em uma palavra: concorrência. Suponha que não há triggers controlando esse cenário, apenas selects retornando a quantidade atual e um if pra dizer se tem quantidade ou não, item a item. O primeiro usuário vê a quantidade de estoque suficiente (bola quantidade = 2, cadeira quantidade = 1) e o sistema libera a movimentação de estoque e a conclusão do pedido. Mas, enquanto a transação do primeiro usuário está sendo executada, um segundo usuário tenta fazer a mesma movimentação, mas como a primeira transação ainda não terminou, o segundo usuário também vê bola quantidade = 2, cadeira quantidade = 1 quando consulta o estoque, e o sistema também libera (erroneamente) a movimentação de estoque. Consequentemente, a cadeira seria decrementada 2 vezes quando só poderia ser 1 vez, e acabo com estoque negativo.

Eu vi algumas alternativas como reserva de estoque mas acho que não servem pra mim. Por favor, não pense num e-commerce ou PDV. Pense num grande armazém cheio de bobinas que pesam 1 tonelada e custam 1 milhão de reais cada uma, e que não podem ser movidas facilmente e nem ter o estoque reservado (por causa das regras de negócio). Além disso, com 1000 filiais espalhadas pelo país com 10 vendedores em cada tentando movimentar os mesmos itens. Pense em dez mil clicks por minuto.

Inicialmente eu pensei em isolar somente a função de movimentação de estoque no Firebird, mas acho que ele não aguenta dez mil clicks por minuto.

Cheguei a fazer um teste: fiz uma aplicação com Spring Boot e Firebird pra fazer essas movimentações. PraPara testar essa demanda de concorrência, usei o JMeter e coloquei 100 usuários (o objetivo são 10000) que tentam fazer essa movimentação, sem intervalo de inicioinício entre eles. Consegui no máximo 9 operações concorrentes com sucesso de movimentação de estoque dos mesmos itens. O Firebird devolve o erro:

'deadlock, update conflicts with concurrent update....', 'SQL Error: 335544336, SQLState 40001'

Estou usando Firebird 3, Debian 9, Java 8 e Hibernate 5.0.11.final.

Andei lendo e pensando, e se usar apache kafka transaction streamsKafka Transaction Streams com o MongoDB? Será que o Kafka consegue enfileirar as requisições de forma que eu consiga testar a quantidade de todos os itens do pedido antes de movimentar, e só movimentar se houver estoque. E, só depois, processar a próxima solicitação de movimentação. Será qque isso é possível?

Como construir esse sistema/funcionalidade com NoSQL atendendo esses requisitos? Ou como construir com Firebird mesmo, mas considerando esse resultado que obtive com o JMeter?

Estou pensando em migrar meu ERP (atualmente em java) de um banco de dados relacional (atualmente em Firebird) para um NoSQL (provavelmente MongoDB). Estou planejando e tentando antecipar os possíveis problemas. O objetivo é construir um controle que nunca deixar a quantidade do item ficar negativa. Ainda estou com o viés de ACID, o que dificulta essa migração. Consegui resolver todos os problemas do restante do sistema, mas ainda restam 2 situações no controle de estoque que hoje são resolvidas com triggers.

Problema 1

Um pedido com 2 itens (bola quantidade = 2 e cadeira quantidade = 1) e não há quantidade suficiente no estoque (bola quantidade = 1 e cadeira = 0) para concluir a movimentação de estoque do pedido. Assim que tento movimentar os estoques do pedido, executo um laço para baixar a quantidade de estoque de cada item, um a um. Consequentemente, haveria uma falha na movimentação por não ter estoque suficiente e o rollback aconteceria. No caso do MongoDB, cada 'documento' seria equivalente a uma quantidade de um item pra diminuir, ou seja, não há transação entre documentos no MongoDB.

Problema 2

Em uma palavra: concorrência. Suponha que não há triggers controlando esse cenário, apenas selects retornando a quantidade atual e um if pra dizer se tem quantidade ou não, item a item. O primeiro usuário vê a quantidade de estoque suficiente (bola quantidade = 2, cadeira quantidade = 1) e o sistema libera a movimentação de estoque e a conclusão do pedido. Mas, enquanto a transação do primeiro usuário está sendo executada, um segundo usuário tenta fazer a mesma movimentação, mas como a primeira transação ainda não terminou, o segundo usuário também vê bola quantidade = 2, cadeira quantidade = 1 quando consulta o estoque, e o sistema também libera (erroneamente) a movimentação de estoque. Consequentemente, a cadeira seria decrementada 2 vezes quando só poderia ser 1 vez, e acabo com estoque negativo.

Eu vi algumas alternativas como reserva de estoque mas acho que não servem pra mim. Por favor, não pense num e-commerce ou PDV. Pense num grande armazém cheio de bobinas que pesam 1 tonelada e custam 1 milhão de reais cada uma, e que não podem ser movidas facilmente e nem ter o estoque reservado (por causa das regras de negócio). Além disso, com 1000 filiais espalhadas pelo país com 10 vendedores em cada tentando movimentar os mesmos itens. Pense em dez mil clicks por minuto.

Inicialmente eu pensei em isolar somente a função de movimentação de estoque no Firebird, mas acho que ele não aguenta dez mil clicks por minuto.

Cheguei a fazer um teste: fiz uma aplicação com Spring Boot e Firebird pra fazer essas movimentações. Pra testar essa demanda de concorrência, usei o JMeter e coloquei 100 usuários (o objetivo são 10000) que tentam fazer essa movimentação, sem intervalo de inicio entre eles. Consegui no máximo 9 operações concorrentes com sucesso de movimentação de estoque dos mesmos itens. O Firebird devolve o erro:

'deadlock, update conflicts with concurrent update....', 'SQL Error: 335544336, SQLState 40001'

Estou usando Firebird 3, Debian 9, Java 8 e Hibernate 5.0.11.final.

Andei lendo e pensando, e se usar apache kafka transaction streams com o MongoDB? Será que o Kafka consegue enfileirar as requisições de forma que eu consiga testar a quantidade de todos os itens do pedido antes de movimentar, e só movimentar se houver estoque. E, só depois, processar a próxima solicitação de movimentação. Será q isso é possível?

Como construir esse sistema/funcionalidade com NoSQL atendendo esses requisitos? Ou como construir com Firebird mesmo, mas considerando esse resultado que obtive com o JMeter?

Estou pensando em migrar meu ERP (atualmente em java) de um banco de dados relacional (atualmente em Firebird) para um NoSQL (provavelmente MongoDB). Estou planejando e tentando antecipar os possíveis problemas. O objetivo é construir um controle que nunca deixar a quantidade do item ficar negativa. Ainda estou com o viés de ACID, o que dificulta essa migração. Consegui resolver todos os problemas do restante do sistema, mas ainda restam 2 situações no controle de estoque que hoje são resolvidas com triggers.

Problema 1

Um pedido com 2 itens (bola quantidade = 2 e cadeira quantidade = 1) e não há quantidade suficiente no estoque (bola quantidade = 1 e cadeira = 0) para concluir a movimentação de estoque do pedido. Assim que tento movimentar os estoques do pedido, executo um laço para baixar a quantidade de estoque de cada item, um a um. Consequentemente, haveria uma falha na movimentação por não ter estoque suficiente e o rollback aconteceria. No caso do MongoDB, cada 'documento' seria equivalente a uma quantidade de um item pra diminuir, ou seja, não há transação entre documentos no MongoDB.

Problema 2

Em uma palavra: concorrência. Suponha que não há triggers controlando esse cenário, apenas selects retornando a quantidade atual e um if pra dizer se tem quantidade ou não, item a item. O primeiro usuário vê a quantidade de estoque suficiente (bola quantidade = 2, cadeira quantidade = 1) e o sistema libera a movimentação de estoque e a conclusão do pedido. Mas, enquanto a transação do primeiro usuário está sendo executada, um segundo usuário tenta fazer a mesma movimentação, mas como a primeira transação ainda não terminou, o segundo usuário também vê bola quantidade = 2, cadeira quantidade = 1 quando consulta o estoque, e o sistema também libera (erroneamente) a movimentação de estoque. Consequentemente, a cadeira seria decrementada 2 vezes quando só poderia ser 1 vez, e acabo com estoque negativo.

Eu vi algumas alternativas como reserva de estoque mas acho que não servem pra mim. Por favor, não pense num e-commerce ou PDV. Pense num grande armazém cheio de bobinas que pesam 1 tonelada e custam 1 milhão de reais cada uma, e que não podem ser movidas facilmente e nem ter o estoque reservado (por causa das regras de negócio). Além disso, com 1000 filiais espalhadas pelo país com 10 vendedores em cada tentando movimentar os mesmos itens. Pense em dez mil clicks por minuto.

Inicialmente eu pensei em isolar somente a função de movimentação de estoque no Firebird, mas acho que ele não aguenta dez mil clicks por minuto.

Cheguei a fazer um teste: fiz uma aplicação com Spring Boot e Firebird pra fazer essas movimentações. Para testar essa demanda de concorrência, usei o JMeter e coloquei 100 usuários (o objetivo são 10000) que tentam fazer essa movimentação, sem intervalo de início entre eles. Consegui no máximo 9 operações concorrentes com sucesso de movimentação de estoque dos mesmos itens. O Firebird devolve o erro:

'deadlock, update conflicts with concurrent update....', 'SQL Error: 335544336, SQLState 40001'

Estou usando Firebird 3, Debian 9, Java 8 e Hibernate 5.0.11.final.

Andei lendo e pensando, e se usar apache Kafka Transaction Streams com o MongoDB? Será que o Kafka consegue enfileirar as requisições de forma que eu consiga testar a quantidade de todos os itens do pedido antes de movimentar, e só movimentar se houver estoque. E, só depois, processar a próxima solicitação de movimentação. Será que isso é possível?

Como construir esse sistema/funcionalidade com NoSQL atendendo esses requisitos? Ou como construir com Firebird mesmo, mas considerando esse resultado que obtive com o JMeter?

Revisão de português e formatação
Fonte Link
Victor Stafusa
  • 64,9mil
  • 9
  • 120
  • 189

Estou pensando em migrar meu erpERP (atualmente em java) de um banco de dados relacional (atualmente em firebirdFirebird) para um nosqlNoSQL (provavelmente mongodbMongoDB). Estou planejando e tentando antecipar os possveispossíveis problemas. O objetivo é construir um controle que nunca deixar a quantidade do item ficar negativa. Ainda estou com o viesviés de ACID, o qque dificulta essa migracaomigração. Consegui resolver todos os problemas do restante do sistema, mas ainda restam 2 situacoessituações no controle de estoque qque hoje saosão resolvidas com triggers.

Problema 1

Problema 1
Um Um pedido com 2 itens (bola qtdequantidade = 2 e cadeira qtdequantidade = 1) e nao hanão há quantidade suficiente no estoque (bola qtdequantidade = 1 e cadeira = 0) prapara concluir a movimentacaomovimentação de estoque do pedido. Assim qque tento movimentar os estoqueestoques do pedido, executo um looplaço para baixar a qtdequantidade de estoque de cada item, um a um. Consequentemente, haveria uma falha na movimentacaomovimentação por naonão ter estoque suficiente e o rollback aconteceria. No caso do mongoDBMongoDB, cada 'documento' seria equivalente a uma qtdequantidade de um item pra diminuir, ou seja, nao ha transacaonão há transação entre documentos no mongodbMongoDB.

Problema 2

Problema 2
Em Em uma palavra: concorrenciaconcorrência. Suponha que nao hanão há triggers controlando esse cenariocenário, apenas selectsselects retornando a qtdequantidade atual e um ifif pra dizer se tem qtdequantidade ou naonão, item a item. O primeiro usuario ve qtdeusuário vê a quantidade de estoque suficiente (bola qtdequantidade = 2, cadeira qtdequantidade = 1) e o sistema libera a movimentacaomovimentação de estoque e a conclusaoconclusão do pedido. Mas, enqtoenquanto a transacaotransação do primeiro usuariousuário está sendo executada, um segundo usuariousuário tenta fazer a mesma movimentacaomovimentação, mas como a primeira transacaotransação ainda naonão terminou, o segundo usuario tb veusuário também vê bola qtdequantidade = 2, cadeira qtdequantidade = 1 qndoquando consulta o estoque, e o sistema tambemtambém libera (erroneamente) a movimentacaomovimentação de estoque. Consequentemente, a cadeira seria decrementada 2 vezes qndoquando só poderia ser 1 vez, e acabo com estoque negativo.

Eu vi algumas alternativas como reserva de estoque mas acho q naoque não servem pra mim. Por favor, naonão pense num e-commerce ou PDV. Pense num grande armazemarmazém cheio de bobinas qque pesam 1 tonelada e custam 1 milhaomilhão de reais cada uma, e q naoque não podem ser movidas facilmente e nem ter o estoque reservado (por causa das regras de negocionegócio). AlemAlém disso, com 1000 filiais espalhadas pelo paispaís com 10 vendedores em cada tentando movimentar os mesmos itens. Pense em 10dez mil cliksclicks por minuto.

Inicialmente eu pensei em isolar somente a funcaofunção de movimentacaomovimentação de estoque no firebirdFirebird, mas acho qque ele naonão aguenta 10dez mil cliksclicks por minuto.

Cheguei a fazer um teste: fiz uma aplicaoaplicação com spring bootSpring Boot e firebirdFirebird pra fazer essas movimentacoesmovimentações. Pra testar essa demanda de concorrenciaconcorrência, usei o JMeter e coloquei 100 usuariosusuários (o objetivo saosão 10000) qque tentam fazer essa movimentacaomovimentação, sem intervalo de inicio entre eles. Consegui no maximomáximo 9 operacoesoperações concorrentes com sucesso de movimentacaomovimentação de estoque dos mesmos itens. O Firebird devolve o erro: 'deadlock, update conflicts with concurrent update....', 'SQL Error: 335544336, SQLState 40001'.

'deadlock, update conflicts with concurrent update....', 'SQL Error: 335544336, SQLState 40001'

Estou usando Firebird 3, debianDebian 9, javaJava 8 e hibernateHibernate 5.0.11.final.

Andei lendo e pensando:, e se usar apache kafka transaction streams com o mongoDBMongoDB? Será que o kafkaKafka consegue enfileirar as requisicoesrequisições de forma qque eu consiga testar a qtdequantidade de todos os itens do pedido antes de movimentar, e só movimentar se houver estoque. E, só depois, processar a proxima solicitacaopróxima solicitação de movimentacaomovimentação. Será q isso é possivelpossível?

Como construir esse sistema/funcionalidade com nosqlNoSQL atendendo esses requisitos? Ou como construir com firebirdFirebird mesmo, mas considerando esse resultado qque obtive com o JMeter.?

Estou pensando em migrar meu erp(atualmente em java) de um banco de dados relacional (atualmente em firebird) para um nosql (provavelmente mongodb). Estou planejando e tentando antecipar os possveis problemas. O objetivo é construir um controle que nunca deixar a quantidade do item ficar negativa. Ainda estou com o vies de ACID, o q dificulta essa migracao. Consegui resolver todos os problemas do restante do sistema, mas ainda restam 2 situacoes no controle de estoque q hoje sao resolvidas com triggers.

Problema 1
Um pedido com 2 itens (bola qtde = 2 e cadeira qtde = 1) e nao ha quantidade suficiente no estoque (bola qtde = 1 e cadeira = 0) pra concluir a movimentacao de estoque do pedido. Assim q tento movimentar os estoque do pedido, executo um loop para baixar a qtde de estoque de cada item, um a um. Consequentemente, haveria uma falha na movimentacao por nao ter estoque suficiente e o rollback aconteceria. No caso do mongoDB, cada 'documento' seria equivalente a uma qtde de um item pra diminuir, ou seja, nao ha transacao entre documentos no mongodb.

Problema 2
Em uma palavra: concorrencia. Suponha que nao ha triggers controlando esse cenario, apenas selects retornando a qtde atual e um if pra dizer se tem qtde ou nao, item a item. O primeiro usuario ve qtde de estoque suficiente (bola qtde = 2, cadeira qtde = 1) e o sistema libera a movimentacao de estoque e a conclusao do pedido. Mas, enqto a transacao do primeiro usuario está sendo executada, um segundo usuario tenta fazer a mesma movimentacao, mas como a primeira transacao ainda nao terminou, o segundo usuario tb ve bola qtde = 2, cadeira qtde = 1 qndo consulta o estoque, e o sistema tambem libera (erroneamente) a movimentacao de estoque. Consequentemente, a cadeira seria decrementada 2 vezes qndo só poderia ser 1 vez, e acabo com estoque negativo.

Eu vi algumas alternativas como reserva de estoque mas acho q nao servem pra mim. Por favor, nao pense num e-commerce ou PDV. Pense num grande armazem cheio de bobinas q pesam 1 tonelada e custam 1 milhao de reais cada uma, e q nao podem ser movidas facilmente e nem ter o estoque reservado (por causa das regras de negocio). Alem disso, com 1000 filiais espalhadas pelo pais com 10 vendedores em cada tentando movimentar os mesmos itens. Pense em 10 mil cliks por minuto.

Inicialmente eu pensei em isolar somente a funcao de movimentacao de estoque no firebird, mas acho q ele nao aguenta 10 mil cliks por minuto.

Cheguei a fazer um teste: fiz uma aplicao com spring boot e firebird pra fazer essas movimentacoes. Pra testar essa demanda de concorrencia, usei o JMeter e coloquei 100 usuarios (o objetivo sao 10000) q tentam fazer essa movimentacao, sem intervalo de inicio entre eles. Consegui no maximo 9 operacoes concorrentes com sucesso de movimentacao de estoque dos mesmos itens. O Firebird devolve o erro: 'deadlock, update conflicts with concurrent update....', 'SQL Error: 335544336, SQLState 40001'. Estou usando Firebird 3, debian 9, java 8 e hibernate 5.0.11.final.

Andei lendo e pensando: e se usar apache kafka transaction streams com o mongoDB? Será que o kafka consegue enfileirar as requisicoes de forma q eu consiga testar a qtde de todos os itens do pedido antes de movimentar, e só movimentar se houver estoque. E, só depois, processar a proxima solicitacao de movimentacao. Será q isso é possivel?

Como construir esse sistema/funcionalidade com nosql atendendo esses requisitos? Ou como construir com firebird mesmo, mas considerando esse resultado q obtive com o JMeter.

Estou pensando em migrar meu ERP (atualmente em java) de um banco de dados relacional (atualmente em Firebird) para um NoSQL (provavelmente MongoDB). Estou planejando e tentando antecipar os possíveis problemas. O objetivo é construir um controle que nunca deixar a quantidade do item ficar negativa. Ainda estou com o viés de ACID, o que dificulta essa migração. Consegui resolver todos os problemas do restante do sistema, mas ainda restam 2 situações no controle de estoque que hoje são resolvidas com triggers.

Problema 1

Um pedido com 2 itens (bola quantidade = 2 e cadeira quantidade = 1) e não há quantidade suficiente no estoque (bola quantidade = 1 e cadeira = 0) para concluir a movimentação de estoque do pedido. Assim que tento movimentar os estoques do pedido, executo um laço para baixar a quantidade de estoque de cada item, um a um. Consequentemente, haveria uma falha na movimentação por não ter estoque suficiente e o rollback aconteceria. No caso do MongoDB, cada 'documento' seria equivalente a uma quantidade de um item pra diminuir, ou seja, não há transação entre documentos no MongoDB.

Problema 2

Em uma palavra: concorrência. Suponha que não há triggers controlando esse cenário, apenas selects retornando a quantidade atual e um if pra dizer se tem quantidade ou não, item a item. O primeiro usuário vê a quantidade de estoque suficiente (bola quantidade = 2, cadeira quantidade = 1) e o sistema libera a movimentação de estoque e a conclusão do pedido. Mas, enquanto a transação do primeiro usuário está sendo executada, um segundo usuário tenta fazer a mesma movimentação, mas como a primeira transação ainda não terminou, o segundo usuário também vê bola quantidade = 2, cadeira quantidade = 1 quando consulta o estoque, e o sistema também libera (erroneamente) a movimentação de estoque. Consequentemente, a cadeira seria decrementada 2 vezes quando só poderia ser 1 vez, e acabo com estoque negativo.

Eu vi algumas alternativas como reserva de estoque mas acho que não servem pra mim. Por favor, não pense num e-commerce ou PDV. Pense num grande armazém cheio de bobinas que pesam 1 tonelada e custam 1 milhão de reais cada uma, e que não podem ser movidas facilmente e nem ter o estoque reservado (por causa das regras de negócio). Além disso, com 1000 filiais espalhadas pelo país com 10 vendedores em cada tentando movimentar os mesmos itens. Pense em dez mil clicks por minuto.

Inicialmente eu pensei em isolar somente a função de movimentação de estoque no Firebird, mas acho que ele não aguenta dez mil clicks por minuto.

Cheguei a fazer um teste: fiz uma aplicação com Spring Boot e Firebird pra fazer essas movimentações. Pra testar essa demanda de concorrência, usei o JMeter e coloquei 100 usuários (o objetivo são 10000) que tentam fazer essa movimentação, sem intervalo de inicio entre eles. Consegui no máximo 9 operações concorrentes com sucesso de movimentação de estoque dos mesmos itens. O Firebird devolve o erro:

'deadlock, update conflicts with concurrent update....', 'SQL Error: 335544336, SQLState 40001'

Estou usando Firebird 3, Debian 9, Java 8 e Hibernate 5.0.11.final.

Andei lendo e pensando, e se usar apache kafka transaction streams com o MongoDB? Será que o Kafka consegue enfileirar as requisições de forma que eu consiga testar a quantidade de todos os itens do pedido antes de movimentar, e só movimentar se houver estoque. E, só depois, processar a próxima solicitação de movimentação. Será q isso é possível?

Como construir esse sistema/funcionalidade com NoSQL atendendo esses requisitos? Ou como construir com Firebird mesmo, mas considerando esse resultado que obtive com o JMeter?

adicionou 93 caracteres ao conteúdo
Fonte Link

Estou pensando em migrar meu erp(atualmente em java) de um banco de dados relacional (atualmente em firebird) para um nosql (provavelmente mongodb). Estou planejando e tentando antecipar os possveis problemas. O objetivo é construir um controle que nunca deixar a quantidade do item ficar negativa. Ainda estou com o vies de ACID, o q dificulta essa migracao. Consegui resolver todos os problemas do restante do sistema, mas ainda restam 2 situacoes no controle de estoque q hoje sao resolvidas com triggers.

Problema 1
Um pedido com 2 itens (bola qtde = 2 e cadeira qtde = 1) e nao ha quantidade suficiente no estoque (bola qtde = 1 e cadeira = 0) pra concluir a movimentacao de estoque do pedido. Assim q tento movimentar os estoque do pedido, executo um loop para baixar a qtde de estoque de cada item, um a um. Consequentemente, haveria uma falha na movimentacao por nao ter estoque suficiente e o rollback aconteceria. No caso do mongoDB, cada 'documento' seria equivalente a uma qtde de um item pra diminuir, ou seja, nao ha transacao entre documentos no mongodb.

Problema 2
Em uma palavra: concorrencia. Suponha que nao ha triggers controlando esse cenario, apenas selects retornando a qtde atual e um if pra dizer se tem qtde ou nao, item a item. O primeiro usuario ve qtde de estoque suficiente (bola qtde = 2, cadeira qtde = 1) e o sistema libera a movimentacao de estoque e a conclusao do pedido. Mas, enqto a transacao do primeiro usuario está sendo executada, um segundo usuario tenta fazer a mesma movimentacao, mas como a primeira transacao ainda nao terminou, o segundo usuario tb ve bola qtde = 2, cadeira qtde = 1 qndo consulta o estoque, e o sistema tambem libera (erroneamente) a movimentacao de estoque. Consequentemente, a cadeira seria decrementada 2 vezes qndo só poderia ser 1 vez, e acabo com estoque negativo.

Eu vi algumas alternativas como reserva de estoque mas acho q nao servem pra mim. Por favor, nao pense num e-commerce ou PDV. Pense num grande armazem cheio de bobinas q pesam 1 tonelada e custam 1 milhao de reais cada uma, e q nao podem ser movidas facilmente e nem ter o estoque reservado (por causa das regras de negocio). Alem disso, com 1000 filiais espalhadas pelo pais com 10 vendedores em cada tentando movimentar os mesmos itens. Pense em 10 mil cliks por minuto.

Inicialmente eu pensei em isolar somente a funcao de movimentacao de estoque no firebird, mas acho q ele nao aguenta 10 mil cliks por minuto.

Cheguei a fazer um teste: fiz uma aplicao com spring boot e firebird pra fazer essas movimentacoes. Pra testar essa demanda de concorrencia, usei o JMeter e coloquei 100 usuarios (o objetivo sao 10000) q tentam fazer essa movimentacao, sem intervalo de inicio entre eles. Consegui no maximo 9 operacoes concorrentes com sucesso de movimentacao de estoque dos mesmos itens. O Firebird devolve o erro: 'deadlock, update conflicts with concurrent update....', 'SQL Error: 335544336, SQLState 40001'. Estou usando Firebird 3, debian 9, java 8 e hibernate 5.0.11.final.

Andei lendo e pensando: e se usar apache kafka transaction streams com o mongoDB? Será que o kafka consegue enfileirar as requisicoes de forma q eu consiga testar a qtde de todos os itens do pedido antes de movimentar, e só movimentar se houver estoque. E, só depois, processar a proxima solicitacao de movimentacao. Será q isso é possivel?

Como construir esse sistema/funcionalidade com nosql atendendo esses requisitos? Ou como construir com firebird mesmo, mas considerando esse resultado q obtive com o JMeter.

Estou pensando em migrar meu erp(atualmente em java) de um banco de dados relacional (atualmente em firebird) para um nosql (provavelmente mongodb). Estou planejando e tentando antecipar os possveis problemas. O objetivo é construir um controle que nunca deixar a quantidade do item ficar negativa. Ainda estou com o vies de ACID, o q dificulta essa migracao. Consegui resolver todos os problemas do restante do sistema, mas ainda restam 2 situacoes no controle de estoque q hoje sao resolvidas com triggers.

Problema 1
Um pedido com 2 itens (bola qtde = 2 e cadeira qtde = 1) e nao ha quantidade suficiente no estoque (bola qtde = 1 e cadeira = 0) pra concluir a movimentacao de estoque do pedido. Assim q tento movimentar os estoque do pedido, executo um loop para baixar a qtde de estoque de cada item, um a um. Consequentemente, haveria uma falha na movimentacao por nao ter estoque suficiente e o rollback aconteceria. No caso do mongoDB, cada 'documento' seria equivalente a uma qtde de um item pra diminuir, ou seja, nao ha transacao entre documentos no mongodb.

Problema 2
Em uma palavra: concorrencia. Suponha que nao ha triggers controlando esse cenario, apenas selects retornando a qtde atual e um if pra dizer se tem qtde ou nao, item a item. O primeiro usuario ve qtde de estoque suficiente (bola qtde = 2, cadeira qtde = 1) e o sistema libera a movimentacao de estoque e a conclusao do pedido. Mas, enqto a transacao do primeiro usuario está sendo executada, um segundo usuario tenta fazer a mesma movimentacao, mas como a primeira transacao ainda nao terminou, o segundo usuario tb ve bola qtde = 2, cadeira qtde = 1 qndo consulta o estoque, e o sistema tambem libera (erroneamente) a movimentacao de estoque. Consequentemente, a cadeira seria decrementada 2 vezes qndo só poderia ser 1 vez, e acabo com estoque negativo.

Eu vi algumas alternativas como reserva de estoque mas acho q nao servem pra mim. Por favor, nao pense num e-commerce ou PDV. Pense num grande armazem cheio de bobinas q pesam 1 tonelada e custam 1 milhao de reais cada uma, e q nao podem ser movidas facilmente e nem ter o estoque reservado (por causa das regras de negocio). Alem disso, com 1000 filiais espalhadas pelo pais com 10 vendedores em cada tentando movimentar os mesmos itens. Pense em 10 mil cliks por minuto.

Inicialmente eu pensei em isolar somente a funcao de movimentacao de estoque no firebird, mas acho q ele nao aguenta 10 mil cliks por minuto.

Cheguei a fazer um teste: fiz uma aplicao com spring boot e firebird pra fazer essas movimentacoes. Pra testar essa demanda de concorrencia, usei o JMeter e coloquei 100 usuarios (o objetivo sao 10000) q tentam fazer essa movimentacao, sem intervalo de inicio entre eles. Consegui no maximo 9 operacoes concorrentes com sucesso de movimentacao de estoque dos mesmos itens. O Firebird devolve o erro: 'deadlock, update conflicts with concurrent update....', 'SQL Error: 335544336, SQLState 40001'. Estou usando Firebird 3, debian 9, java 8 e hibernate 5.0.11.final.

Andei lendo e pensando: e se usar apache kafka transaction streams com o mongoDB? Será que o kafka consegue enfileirar as requisicoes de forma q eu consiga testar a qtde de todos os itens do pedido antes de movimentar, e só movimentar se houver estoque. E, só depois, processar a proxima solicitacao de movimentacao. Será q isso é possivel?

Como construir esse sistema/funcionalidade com nosql atendendo esses requisitos?

Estou pensando em migrar meu erp(atualmente em java) de um banco de dados relacional (atualmente em firebird) para um nosql (provavelmente mongodb). Estou planejando e tentando antecipar os possveis problemas. O objetivo é construir um controle que nunca deixar a quantidade do item ficar negativa. Ainda estou com o vies de ACID, o q dificulta essa migracao. Consegui resolver todos os problemas do restante do sistema, mas ainda restam 2 situacoes no controle de estoque q hoje sao resolvidas com triggers.

Problema 1
Um pedido com 2 itens (bola qtde = 2 e cadeira qtde = 1) e nao ha quantidade suficiente no estoque (bola qtde = 1 e cadeira = 0) pra concluir a movimentacao de estoque do pedido. Assim q tento movimentar os estoque do pedido, executo um loop para baixar a qtde de estoque de cada item, um a um. Consequentemente, haveria uma falha na movimentacao por nao ter estoque suficiente e o rollback aconteceria. No caso do mongoDB, cada 'documento' seria equivalente a uma qtde de um item pra diminuir, ou seja, nao ha transacao entre documentos no mongodb.

Problema 2
Em uma palavra: concorrencia. Suponha que nao ha triggers controlando esse cenario, apenas selects retornando a qtde atual e um if pra dizer se tem qtde ou nao, item a item. O primeiro usuario ve qtde de estoque suficiente (bola qtde = 2, cadeira qtde = 1) e o sistema libera a movimentacao de estoque e a conclusao do pedido. Mas, enqto a transacao do primeiro usuario está sendo executada, um segundo usuario tenta fazer a mesma movimentacao, mas como a primeira transacao ainda nao terminou, o segundo usuario tb ve bola qtde = 2, cadeira qtde = 1 qndo consulta o estoque, e o sistema tambem libera (erroneamente) a movimentacao de estoque. Consequentemente, a cadeira seria decrementada 2 vezes qndo só poderia ser 1 vez, e acabo com estoque negativo.

Eu vi algumas alternativas como reserva de estoque mas acho q nao servem pra mim. Por favor, nao pense num e-commerce ou PDV. Pense num grande armazem cheio de bobinas q pesam 1 tonelada e custam 1 milhao de reais cada uma, e q nao podem ser movidas facilmente e nem ter o estoque reservado (por causa das regras de negocio). Alem disso, com 1000 filiais espalhadas pelo pais com 10 vendedores em cada tentando movimentar os mesmos itens. Pense em 10 mil cliks por minuto.

Inicialmente eu pensei em isolar somente a funcao de movimentacao de estoque no firebird, mas acho q ele nao aguenta 10 mil cliks por minuto.

Cheguei a fazer um teste: fiz uma aplicao com spring boot e firebird pra fazer essas movimentacoes. Pra testar essa demanda de concorrencia, usei o JMeter e coloquei 100 usuarios (o objetivo sao 10000) q tentam fazer essa movimentacao, sem intervalo de inicio entre eles. Consegui no maximo 9 operacoes concorrentes com sucesso de movimentacao de estoque dos mesmos itens. O Firebird devolve o erro: 'deadlock, update conflicts with concurrent update....', 'SQL Error: 335544336, SQLState 40001'. Estou usando Firebird 3, debian 9, java 8 e hibernate 5.0.11.final.

Andei lendo e pensando: e se usar apache kafka transaction streams com o mongoDB? Será que o kafka consegue enfileirar as requisicoes de forma q eu consiga testar a qtde de todos os itens do pedido antes de movimentar, e só movimentar se houver estoque. E, só depois, processar a proxima solicitacao de movimentacao. Será q isso é possivel?

Como construir esse sistema/funcionalidade com nosql atendendo esses requisitos? Ou como construir com firebird mesmo, mas considerando esse resultado q obtive com o JMeter.

adicionou 84 caracteres ao conteúdo
Fonte Link
Carregando
Fonte Link
Carregando