41

A ideia dos microsserviços é boa. Mas não entendo bem como resolver certos problemas. Talvez o problema seja como ela é "vendida". Não vejo muito se falar quando usar ou quando evitar. Parece que tudo pode usar a tecnologia sem muitos sobressaltos. Mas nada é simples e universal assim.

A aplicação em si é tranquilo entender, mas queria entender sobre banco de dados.

Em leitura não parece muito complicado, é possível pedir dados de bases diferentes e juntar tudo. Dá para questionar se isto é o mais eficiente, mas não vejo complicadores muito fortes, pelo menos não mais que os complicadores que microsserviços trazem.

Eu entendo que certas atividades de uma solução são isoladas e podem ser um microsserviço fácil. Mas outras me parecem integradas demais para poderem ser separadas. Mais ainda, o que pode parecer se mostrar ótimo isoladamente, mas depois parece um caso que precisa de uma integração.

Especificamente penso em transações. Qual é a solução quando você faz uma venda e deve atualizar diversas tabelas de dados? Tudo tem que estar em um microsserviço único? Mas aí tem uma série de tabelas que precisam estar em uma outra transação que envolve outras tabelas. Aí me parece que todas as tabelas deveriam estar juntas, mesmo que nem todas se relacionem diretamente. Ou seja, você quebra a aplicação em serviços específicos, mas continua tendo um ponto único de falha e manutenção, tem suas vantagens, mas não é tão grande assim.

Uma solução seria criar um sistema de transações na aplicação que garante o ACID em diversas bases de dados. Mas isto é bem complicado. Será que só funciona onde o CAP é admitidamente viável?

Enfim, tem alguma solução para micronizar o banco de dados quando o ACID é necessário? Só funciona com algumas tecnologias de banco de dados que suportem isso? Estou enganado em alguma suposição minha?

3
  • O que seria CAP?
    – Dherik
    Commented 16/02/2018 às 16:05
  • 1
    @Dherik de fato não tem uma pergunta sobre isso aqui no site, ela seria útil.
    – Maniero
    Commented 16/02/2018 às 16:17
  • 1
    Olá @Maniero, adicionei mais um ponto: mensagem síncrona. Isto garante um pouco de consistência entre os micro serviços quando você não quer lidar, naquele ponto, com consistência eventual.
    – Dherik
    Commented 21/02/2018 às 16:21

4 Respostas 4

30

Acho que partir para uma transação distribuída é o último caso usando micro serviços.

Eu entendo que certas atividades de uma solução são isoladas e podem ser um microsserviço fácil. Mas outras me parecem integradas demais para poderem ser separadas.

É provável, então, que elas não devam ser separadas.

Mais ainda, o que pode parecer se mostrar ótimo isoladamente, mas depois parece um caso que precisa de uma integração.

Por esta razão que cada micro serviço precisa ter um propósito bem definido e isolado dos demais. Quando um micro serviço precisa muito de um outro, é porque provavelmente eles deveriam ser um único micro serviço.

Por estas e outras eu sou partidário do Monolyth First: somente após você conhecer bem as regras de negócio e alguns domínios da sua aplicação, a equipe será capaz de fazer a separação de forma tranquila e sem surpresas. Temos que abandonar a ideia de que um monolito é uma arquitetura datada pois em muitas circunstâncias (na maioria, eu diria) ela não é.

Contudo, é preciso admitir exceções. Por exemplo, se você estiver trabalhando com uma equipe grande (mais de 10-15 pessoas) e a equipe tiver um bom domínio da regra de negócio, um monólito nesta situação pode ser um erro, pois são muitas pessoas trabalhando em uma mesma base de código. Neste caso, partir direto para micro serviços pode ser uma boa estratégia, onde as pessoas podem ser divididas em equipes menores e cada equipe possa focar em um micro serviço diferente.

Especificamente penso em transações. Qual é a solução quanto você faz uma venda e deve atualizar diversas tabelas de dados?

Se você está falando de diversas tabelas em diferentes bancos de dados, a ideia com micro serviços é que cada micro serviço tenha seu banco de dados próprio e não compartilhado com outros micro serviços, sendo que cada micro serviço consiga conversar de forma não transacional com os outros micro serviços. A última coisa que você quer em uma "arquitetura" micro serviços é uma transação distribuída.

Esta técnica é conhecida como consistência eventual. Seus micro serviços precisam ser preparados a estar em um estado inconsistente durante algum tempo e, eventualmente, estarão consistentes.

Um exemplo

Você quer salvar uma pessoa e suas permissões de acesso. A pessoa é salva em um micro serviço ms-pessoa e as permissões no micro serviço ms-permissao.

Ao invés de salvar uma pessoa se suas permissões também forem salvas no outro micro serviço, você vai salvar pessoa e avisar ao micro serviço permissão para salvar as permissões. O ms-pesssoa vai retornar que está tudo "ok" para o usuário ao salvar a pessoa mesmo sem uma resposta de que deu tudo certo com ms-permissao.

A ideia então é que o ms-pessoa acesse as suas permissões em ms-permissao, preparado para encontrar (ou não) as permissões e saber lidar com isto da sua forma.

Claro que algo pode dar errado ao salvar as permissões. Aí que entra uma das dificuldades ao usar um uma arquitetura de micro serviço. Nestes casos a solução (ou prevenção) apresenta-se em diferentes opções:

  • Resolver o problema no ms-permissao e tentar reprocessar a mensagem com as permissões.
  • Dar um "rollback" no salvar pessoa ao perceber o problema. Esta ação pode ser simplesmente remover a pessoa ou alterar algum tipo de status que ela tenha.
  • Marcar a pessoa com um status "inativo" até ter certeza que deu tudo certo no ms-permissao.
  • Intervir manualmente nas mensagens para resolver o problema.
  • Enviar uma mensagem síncrona: também conhecida como RPC (Remote Procedure Call), ela também pode ser feita via mensagens, por uma request HTTP (tomando os devidos cuidados), etc. A chamada ocorre para o serviço de permissões e aguarda a resposta dele antes de continuar a criação da pessoa. Não é a forma esperada de se comunicar com micro serviços, mas pode te ajudar em alguns casos que certo micro serviço precisa fazer algo por você antes de continuar seu processamento e você não quer lidar com a consistência eventual. O abuso de RPC costuma ser um sintoma que seus micro serviços estão mais separados do que deveriam.
  • Se o micro serviço de permissões ms-permissao pertencer a uma outra empresa/sistema, no qual você não tem controle e não sente confiança suficiente, talvez seja necessário adotar o conceito de Poison Message Processing para lidar com os possíveis problemas de integração.

E etc.

Muitas das soluções acima só ficam viáveis com a implementação também de uma fila DLQ (Dead Letter Queue) para a fila que apresentar algum problema na entrega da mensagem. Assim, as mensagens problemáticas vão para esta fila e ficam aguardando uma decisão a ser tomada: enviar a mensagem novamente para a fila, corrigir algo na mensagem e enviar a mensagem para a fila principal, usar a própria mensagem com problema para fazer o rollback mencionado anteriormente, etc.

Este exemplo de usuário e permissões é bem crítico, talvez eles não deveriam estar separados. Mas é interessante para mostrar um cenário mais complicado.

Tudo tem que estar em um microsserviço único?

Aí estaríamos sempre fadados a termos sistemas monolíticos :).

Outra alternativa: as Business Transactions

As Business Transactions é uma técnica para criar uma cadeia de eventos que inclui fluxos com eventos para desfazer ações. Tal como o rollback, mas implementada de forma manual.

Vamos a um novo exemplo. Imagine que você tenha 3 serviços: ms-pedido, ms-estoque e ms-pagamentos.

O usuário faz um novo pedido e o evento PEDIDO_CRIADO_EVENTO é enviado. O ms-estoque e ms-pagamentos processam este evento. Tudo ocorre bem no ms-pagamentos, mas o ms-estoque verifica que não tem o produto em estoque. Neste caso, o rollback poderia ocorrer desta forma:

  • O ms-estoque envia o evento PRODUTO_INDISPONIVEL_EVENTO,
  • O ms-pedido e ms-pagamentos lêem o novo evento
    • O ms-pedido vai cancelar o pedido
    • O ms-pagamentos vai extornar o pagamento

No final das contas, só tenho duas opções?

Os desenvolvedores costumam pensar nos extremos: um grande monólito vs um monte de micro serviços trocando mensagens entre si. Isto é um erro. Não precisamos nos vender a nenhum destes extremos.

Podemos ter em um mesmo sistema aplicações maiores para cuidar de alguns problemas transacionais que não temos tempo/dinheiro para lidar de outra forma e, sempre que couber, micro serviços independente com funções bem definidas.

Algo importante para evitar a perpetuação do monólito é ter, desde o começo, uma infra-estrutura preparada para lidar com micro serviço. Se deseja usar no futuro uma arquitetura que comporte micro serviços, usando Docker, Kubernetes e etc, você e sua empresa já estarão preparados para isto.

6
  • 1
    Imagino que saiba o que é CAP então :) Resumindo: ou aceita a consistência eventual ou cria um sistema de transações distribuídas? Gostei da resposta, até porque bate com tudo o que eu sei. Ainda não sei se é a resposta que espero porque queria ver se tem alguma solução que não sejam essas. Pode ser que não, aí a resposta passa ser 100%, vamos aguardar.
    – Maniero
    Commented 16/02/2018 às 16:23
  • Hehehe, adivinhei então, só não conhecia o termo. Mais tarde eu vou tentar melhorar a resposta, mas a princípio são estas as duas opções possíveis mesmo.
    – Dherik
    Commented 16/02/2018 às 16:24
  • 2
    Gostei bastante dessa resposta. Muito equilibrada.
    – cantoni
    Commented 16/02/2018 às 16:38
  • Olá! Gostaria de entender o motivo do voto negativo para melhorar minha resposta fazer com que ela seja mais útil.
    – Dherik
    Commented 24/02/2018 às 17:01
  • @Maniero, adicionei mais uma nova solução: Business Transactions. É um conceito em cima dos micro serviços. Não sei se é o que espera, mas achei interessante acrescentar.
    – Dherik
    Commented 23/03/2018 às 17:29
13
+25

Sem duvidas uma das partes mais difíceis numa arquitetura de microserviço são os dados. Concordo com você quando diz q ela não é bem "vendida".

Recentemente também caí na mesma linha de raciocínio que geraram essas mesmas dúvidas.

Tem um site que me ajudou a entender como os microservices podem se comunicar: http://microservices.io/

Na verdade, você não está muito longe, mas ainda é preciso pensar em alguns outros conceitos que você não mencionou. Um deles é imutabilidade. Outro, seria segmentar um processo por etapas (ou estágios) ao invés do tudo ou nada, e garantir o sucesso de cada etapa.

Vamos nos concentrar no problema de transação. A ideia é q não se trabalhe com two phase-commit. Além disso, uma solução q tem sido bem utilizada é mensageria, principalmente com apache kafka.

Dê uma olhada na questao de microservices orientados a eventos com kafka, principalmente com um recurso novo q garante q um evento só seja processado uma vez.

Vamos a um exemplo mais prático. Vou propor um, mas se ainda não se adequar, você pode propor e pensamos juntos.

Após uma venda ser concluída, é preciso gerar dois boletos e uma nota fiscal (q será emitida pro sefaz posteriormente). Se não for possível gerar os boletos ou a nota, não deve concluir a venda, já q preciso garantir q uma venda tenha boletos e uma nota. Aqui podemos segmentar por etapa: etapa 1, concluir venda. Após essa, o microservice de venda envia um evento e o microservice de boleto é notificado e gera os boletos, e assim por diante. Para garantir alguma consistencia, caso não seja possível gerar algum dos boleto (por um erro de pk, por exemplo), o "processo" de conclusão da venda deve constar como incompleto e notificar alguém para que seja solucionado. No caso de não poder haver de jeito nenhum uma venda sem boletos, deve-se retornar o status do pedido (transação compensada). Em outras palavras:

  1. pedido 1 trocar status para 'processando' e após o commit da venda apenas, muda para estagio 'etapa 1 de 3 completa'
  2. microservice de boletos recebe o evento, cria primeiro boleto com algum status 'processando' (isso garante q nenhum outro processo considere esse boleto como valido até q todo o processo seja concluído)
  3. microservice de boletos tenta gerar segundo boleto e não consegue, deve enviar evento para microservice de venda para tirar do status processando, para q seja desfeito o q aconteceu lah e informar erro. Aqui, sobre desfazer o q foi feito no microservice de venda, a idéia lá eh q se tenha trabalhado com imutabilidade, ou seja, ao invés de alterar registros q nao seja a venda em si, criar novos registros tb com um status 'pendente' em algum outro lugar (temporario talvez) ou mesmo alterar os registros (o q geralmente nao eh aconselhavel).

Nesse final, se tecnicamente foi permitido utilizar imutabilidade, e houve erros, vc vai ter registros inconsistentes q podem ser excluidos depois.

Ainda existe o problema da concorrencia, q pode ser tratada de algumas formas (timestamping, version, trigger ou sistema)

O ponto realmente é q vc não pode ter o C, A e P do CAP, tem q escolher 2, não tem jeito. Mas isso não significa que não se consiga uma consistencia tão boa quanto o ACID oferece. A questão é que vai dar mais trabalho, sem dúvidas. Mas vc terá possibilidade de um sistema muito mais segmentado, poliglota e reativo. Caracteristicas que valem muito a pena ao longo do tempo.

Talvez o exemplo abordei seja inadequado ou mesmo muito simples de resolver/incompleto. Mas como falei, diga detalhadamente seu cenário para que possamos pensar juntos.

6
  • Esse site do Richardson é bem bacana e também uso como referência. Lá tem uma tópico com essa problemática dos patterns pra resolver a questão do dados. A seção chama "Data management"
    – Pagotti
    Commented 22/02/2018 às 16:53
  • Então migrar para microsserviço precisa fazer todo um trabalho para modelar a falha do sistema em todo e cada ponto e também todo um esquema de APIs web para ficar trocando mensagem para cima e para baixo? Commented 22/02/2018 às 23:36
  • 1
    "... fazer todo um trabalho para modelar a falha do sistema em todo e cada ponto..." - Não sempre. Existe uma outra coisa que esqueci de comentar que chamam de "Transaction Boundaries". É possível que existam situações onde é impossível viver sem consistencia forte/verdadeira ('C' do ACID). Nesses casos, a unica solução q encontrei (e q foi recomendada) é juntar essas rotinas num único microserviço. Mas de forma geral, é preciso "modelar as falhas", o q pode ser bem pouco doloroso se for feito com planejamento. Alias, essa é outra caracteristica de microserviço: é preciso planejamento. Commented 23/02/2018 às 18:04
  • "...todo um esquema de APIs web para ficar trocando mensagem para cima e para baixo..." - Não necessariamente. Aquele site (microservices.io) mostra os patterns. Um deles inclusive o site chama de anti-pattern: fazer essa troca direto no banco por triggers. O ideal é que os serviços fiquem independentes, mas não significa que seja a unica forma de fazer. Commented 23/02/2018 às 18:06
  • teria algum código no github que demonstrasse essa solução ou algo próximo disso? ajudaria muito a entender a solução e discutir Commented 4/02/2020 às 4:26
4

Migrar para uma arquitetura de microsserviços pode não ser uma tarefa tão simples e por isso requer bastante planejamento e motivações claras. Normalmente essa migração ocorre quando temos uma aplicação monolítica de grande porte e percebemos nela indicativos de que essa mudança pode ser necessária.

Exemplos disso são a dificuldade na escalabilidade e atualizações de pontos específicos que comprometem toda a aplicação. Diante desses problemas, a reestruturação da aplicação para uma arquitetura mais granular, como a de microsserviços, pode ser a solução mais adequada.

1
  • olá @Réulison_Silva, já chegou a portar uma aplicação de grande porte monolítica em produção para arquitetura de microserviços ou foi ainda em desenvolvimento?
    – danilo
    Commented 27/09/2019 às 18:50
2

Transações em ambientes distribuídos sempre estão no campo dos trade-offs: para cada benefício, uma nova limitação nasce.

No clássico artigo de Microsserviços do Martin Fowler, ele diz:

A responsabilidade descentralizada para os dados através dos microsserviços tem implicações para a administração de atualizações. A abordagem comum para lidar com atualizações tem sido usar transações para garantir a atualização de múltiplos recursos. Esta abordagem é usada freqüentemente em estruturas monolíticas.

O uso de transações como estas ajuda com a consistência, mas impõem um acoplamento temporário significante, que é problemático quando existem múltiplos serviços. Transações distribuídas são nitidamente difíceis para implementar e como conseqüência, arquiteturas em microsserviços enfatizam a coordenação sem transação entre serviços, com o reconhecimento explícito que consistência pode ser somente eventual e os problemas gerados por isto são lidados com operações que compensem esta questão.

Fonte: https://codigo35.com/2016/01/02/microsservicos/

Pensando nas estratégias mais comuns em cenários de microsserviços, penso que temos três caminhos:

  1. two-phase commit (2PC)
  2. Saga pattern
  3. Event sourcing

Todas tentam garantir a mesma coisa: garantir a consistência dos dados em múltiplos serviços.

two-phase commit (2PC)

Two-Phase Commit (2PC) é um protocolo de transação distribuída que permite que vários serviços coordenem a execução de uma transação em múltiplos bancos de dados ou sistemas. Ele é composto por duas fases: a primeira é a fase de preparação, na qual cada participante confirma se está pronto para commitar a transação; a segunda é a fase de commit, na qual o coordenador da transação solicita a todos os participantes que efetivamente commitem a transação.

O objetivo do 2PC é garantir que todos os participantes da transação sejam consistentes e evitar a perda de dados. Se algum participante não puder commitar a transação, o coordenador aborta a transação e solicita a todos os participantes que revertam suas operações.

Desvantagens

No entanto, o 2PC tem algumas desvantagens, como a necessidade de uma ligação confiável entre o coordenador e os participantes e o bloqueio de recursos até que a transação seja concluída. Além disso, ele pode ter impacto negativo no desempenho em sistemas de alta escalabilidade.

Saga pattern

O Saga Pattern é uma técnica de gerenciamento de transações distribuídas que permite que você coordene a execução de uma sequência de transações em múltiplos serviços ou bancos de dados. Ao contrário do Two-Phase Commit (2PC), o Saga Pattern permite a compensação de transações em caso de falha, ou seja, permite reverter as operações realizadas em caso de problemas durante a execução da transação.

A idéia básica por trás do Saga Pattern é que cada transação individual possa ser revertida, permitindo que as operações sejam compensadas de forma controlada e consistente, mesmo em caso de falhas. Isso é alcançado através de uma sequência de comandos compensatórios, que são executados em caso de falha, para reverter as operações realizadas anteriormente.

O Saga Pattern é útil em cenários de alta escalabilidade e tolerância a falhas, onde é necessário garantir a consistência dos dados em múltiplos sistemas e bancos de dados distribuídos. Além disso, ele permite a coordenação de transações complexas, que envolvam múltiplos serviços e sistemas, garantindo a integridade dos dados e evitando a perda de informações.

Desvantagens

  • Complexidade: O Saga Pattern é mais complexo do que o Two-Phase Commit (2PC), pois envolve uma série de etapas para garantir a compensação de transações em caso de falha. Isso pode tornar o código mais difícil de manter e testar.
  • Latência: O Saga Pattern pode ser mais lento do que o 2PC, pois envolve uma série de operações adicionais para garantir a compensação de transações.
  • Consistência eventual: O Saga Pattern não garante a consistência dos dados de forma imediata, pois as operações compensatórias são executadas em caso de falha. Isso significa que os dados podem ficar inconsistentes por um curto período de tempo.
  • Dependência dos serviços: O Saga Pattern depende da disponibilidade dos serviços envolvidos para garantir a compensação de transações. Se algum serviço estiver indisponível, pode ser impossível compensar as operações realizadas.
  • Dificuldade de depuração: Pode ser difícil depurar erros ou problemas em transações coordenadas pelo Saga Pattern, especialmente se houver problemas com os comandos compensatórios.

Event sourcing

Event sourcing é um padrão de arquitetura de software que se concentra na persistência dos eventos ao invés do estado atual dos dados. Em vez de armazenar o estado final dos dados em uma base de dados relacional, por exemplo, o event sourcing armazena uma sequência de eventos que representam as alterações feitas aos dados ao longo do tempo.

A idéia por trás do event sourcing é que a informação completa sobre o estado de um sistema pode ser reconstruída a partir da sequência de eventos armazenados, permitindo que o estado atual seja reconstruído a qualquer momento. Isso também permite que você faça a auditoria dos dados, pois você pode ver como o estado de um sistema mudou ao longo do tempo.

Além disso, o event sourcing é uma abordagem altamente escalável, pois permite que você processe grandes quantidades de dados em paralelo, uma vez que cada evento pode ser processado independentemente.

Desvantagens

No entanto, o event sourcing pode ser mais complexo do que outras abordagens de persistência de dados, como o uso de bases de dados relacionais, e pode exigir mais esforço de programação e de infraestrutura. Além disso, é importante ter em mente que o event sourcing não é a escolha certa para todos os tipos de aplicações, pois ele é mais apropriado para sistemas de alta complexidade e escalabilidade.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .