13

Estava pesquisando sobre integração de microserviços e me apareceu esse tal de Apache Kafka. Fiz uma pesquisa aqui e vi ele sendo citado nessa resposta sobre integração de microsserviços e nessa outra pergunta.

Mas afinal,

  • O que é esse tal de Apache Kafka?
  • Para que ele serve?
  • Quais problemas resolve?
  • Com o que devo me preocupar ao usa-lo?

Já achei artigos com parte das respostas. Estou começando a usa-lo, minha ideia é trazer o conteúdo para o site

3
  • 5
    É um índio alienado, com ansiedade, culpa, ligado ao absurdo burocrático. Acertei? :)
    – Maniero
    11/06/2018 às 16:14
  • 3
    Mas eu ri demais kkkkkkk
    – Barbetta
    11/06/2018 às 16:23
  • 4
    Esqueci de citar a barata
    – Maniero
    11/06/2018 às 16:28

1 Resposta 1

18

Vou tentar passar um pouco do que tenho aprendido ao estudar, trabalhar e fazer parte da comunidade do Apache Kafka®

O kafka é uma plataforma de streaming distribuída.

E na pratica o que seria isso?

Com ele você consegue publicar, armazenar, processar e consumir um grande fluxo de dados. Desta forma, estamos desacoplando o fluxo dos dados.

Ok! Pode parecer um pouco confuso e muito genérico, sim, eu sei, mas vamos em frente.

Vamos imaginar um exemplo bem básico.

Todos os dias o carteiro sai lá dá central dos Correios, com um monte de cartas,que foram postadas por diversos remetentes. Essas cartas geralmente, tem um destinatário.

Quando um determinado carteiro coleta as cartas, ele recebe todas elas organizadas por CEP, com isso, o carteiro sabe onde ele precisa entregar cada conjunto de cartas. Ou Seja, para cada CEP eu tenho diversas ruas, com isso diversos endereços, pessoas, empresas e por ai vai.

Então, o seu carteiro, com posse do CEP, sai para a entrega. Na rua, temos diversos números, e para cada numero temos diversas cartas. Com todas essas informações, os carteiros conseguem fazer as suas entregas diariamente. De modo que se um carteiro faltar, o outro pode assumir e realizar a entrega. Eventualmente, uma carta ou outra pode não ser entregue.

Quando a carta é entregue, tanto faz para o carteiro o que você fará com a carta, se vai ler, se vai pagar a conta, se vai realizar a compra no mercado do panfleto, como tanto faz pra mim quem é que me entregou a carta, nada mudaria no valor boleto, por exemplo.

Vamos dizer que todo esse processo, é um fluxo de dados, um fluxo de dados em forma de cartas, vamos dizer melhor, que esse é um streaming de cartas.

No Kafka

Alem do carteiro…

Vamos para o lado técnico da coisa, com o Kafka em mãos nós podemos criar aplicações para streaming de informações em tempo real entre diversos sistemas, em diversas plataformas e em diversos formatos, inclusive podendo processar essas informações em tempo real, seja para realizar o enriquecimento, operações aritméticas, agrupamentos e outras possibilidades.

O Kafka é um grande ecossistema.

Este ecossistema é composto normalmente por um sistema fonte, que irá fornecer os dados de entrada, um produtor, que será responsável por gerar os dados, os processos core do Kafka que fazem a gestão de todo o processo, um consumidor, para “assinar” os dados gerados e prover para um “sistema alvo”.

Para realizarmos todos esses processos, o Kafka nos fornece as seguintes API’s:

Producer API — Permite que uma aplicação publique um fluxo de informações em um ou mais tópicos do Kafka.

Consumer API — Permite que uma aplicação assine um ou mais tópicos e processe o fluxo de dados produzidos para eles.

Streams API — Permite que uma aplicação atue como um processador do fluxo, consumindo dos dados e gerando os resultados processados em outro tópico.

Connector API — Permite criar e executar produtores ou consumidores reutilizáveis ​​que conectam os tópicos do Kafka em sistemas existentes. Por exemplo, um conector para um banco de dados relacional que captura todas as alterações em uma tabela.

Kafka API’s

Visão do Ecossistema

Tá, legal, mas como eu me comunico com o Kafka?

A comunicação entre os clientes e os servidores é toda realizada via protocolo TCP simples.

Vamos aos Tópicos!!!

Os tópicos são conjuntos de dados, fazendo um paralelo, são como uma tabela em um banco de dados, a diferença é que no tópico os dados são imutáveis.

Então todas aquelas informações geradas pelos produtores e que foram enviadas para o Kafka são armazenadas nos tópicos. Os tópicos são os “centralizadores” de informações. Todo tópico tem um nome atribuído, por exemplo:

stackoverflow.topic

Cada tópico pode ter um ou mais consumidores acessando (assinando) os dados que estão gravados, como são imutáveis, não existe a possibilidade de um dos consumidores alterar o estado de uma informação que foi armazenada no tópico.

Os tópicos podem ser divididos por uma ou mais partições. Por definição a partição é uma sequência ordenada e imutável de registros que é anexada continuamente a um log de confirmação estruturado. Cada partição recebe um conjunto de informações dentro daquele tópico.

Dentro de cada partição, são armazenadas as informações,e para isso temos o offset.

No meu ponto de vista, o offset é a menor unidade de medida dentro do Kafka. Cada partição é composta por 0 a X offsets, isso quer dizer que o offset começara na posição 0 e incrementará sob demanda em cada partição (0,1,2,3,4,5,6,7,8,9,10,11,12…X),a grosso modo, ele funciona como um Array, porem nós não precisamos nos preocupar com este crescimento, o Kafka faz para nós de forma natural. Tipo o ArrayList do Java. As informações armazenadas são identificadas por seu numero de offset. O desenho abaixo, demonstra a anatomia de um tópico, publicado pelo pessoal da Apache:

Anatomy of a Topic

E um desenho meu ;)

anatomia do topico

Voltando ao que diz respeito aos dados, todo registro que é armazenado em uma partição, pertence unica e exclusivamente a ela. O offset 3 da partição 1 não tem nenhuma relação com o offset 3 da partição 0.

Embora os dados sejam imutáveis,o tempo de permanência dentro do Kafka pode ser configurado de acordo com o contexto da aplicação, por default, os dados são mantidos por sete dias. O desempenho do Kafka é efetivamente constante em relação ao tamanho dos dados, portanto, armazenar os dados por um longo período não é um problema (dependendo da infra, é claro).

É importante dizer que os dados são entregues ao tópico e não a uma partição. Quem gerencia em qual partição será gravada é o Kafka. Porem podemos passar uma chave na mensagem, e com essa chave garantimos que aquele tipo de informação, será armazenada sempre na mesma partição, mas novamente, quem decidirá a partição é o Kafka, e não nós, meros mortais.

partição

Gravação com chave

gravação com chave

Esse tal de Cluster

O grande lance disso tudo é que o Kafka é “clusterizado” ele roda em um ou mais servidores, e esses servidores podem estar distribuídos. Esses servidores são os famosos Brokers.

Os brokers provem e recebem dados. O Kafka por si só não gerencia tudo isso sozinho, ele precisa do Zookeeper para organizar essa bagunça toda ai. Por exemplo, quando você cria ou altera um tópico, na verdade, quem está realizando esta ação é o Zookeeper.

Nossos brokers são identificados por um ID integer, e é dentro dos brokers que estão nossos tópicos. Para nós usuários, esse monte de brokers é transparente, pois quando nos conectamos a um broker, estamos conectado a toda cadeia de brokes.

Aqui é que as coisas ficam interessantes para nós, pois quando temos mais de uma partição por tópico, é que o conceito dos brokers e clusterização fica mais clara. No momento em que estamos criando um novo tópico determinamos quantas partições teremos dentro desse tópico, com isso o Kafka já distribui as partições de um determinado tópico entre os brokers.

topico e broker

Podemos também definir o fator de replicação para o tópico, quando realizamos essa configuração, passará a existir uma sincronização dos dados entre os tópicos, nos garantindo a disponibilidade as informações.

Neste exemplo os dados que estão no Tópico 01 do Broker 01, estão sincronizados no Broker 02, assim como os dados do Tópico 02 que estão no Broker 03.

brokers

E se o Broker 03 cair?

brokers

Ainda teremos disponibilidade dos dados, pois foram sincronizados no Broker 02. Para nós, nada muda, uma vez que estou conectado em um broker, estou conectado na cadeia de brokers.

E se o Broker 01 também cair?

brokers

Ainda estamos garantidos, pois os dados também estão sincronizados no Broker 02.

Conceito de Líder

Dentro de cada partição de um tópico dentro do broker, teremos um líder. Apenas o líder que recebe e envia dados, os demais apenas sincronizam as informações, ou seja, seguem o líder.

Quem elege o líder é o Zookeeper! O Kafka é apenas informado.

lider

Se o líder falhar, um dos seguidores se tornará automaticamente o novo líder, como nos exemplos acima.

Segmentação

Já sabemos que tópicos são feitos de partições, e do que são feitas as partições?

As partições são feitas de segmentos! Os segmentos são arquivos do sistema operacional e eles definem um conjunto de offsets. No meu exemplo abaixo, um segmento é um conjunto de quatro offsets:

segmentação

Com isso, o Kafka trabalha com dois indexes, um para saber qual a posição de offset ele deve ler e um para saber qual o timestamp ele deve ler (por segmentação).

Produtores

Um produtor é o responsável por produzir e enviar dados para o Kafka, simples assim.

Esses dados podem ser um e-mail, um tweet, um JSON,um sms,uma string, qualquer coisa que você queira e faça sentido para o seu contexto.

A unica coisa que precisamos fazer em um produtor é informar qual o tópico e qual o broker que queremos enviar as informações, a partir dai o Kafka automaticamente se encarregará de distribuir e armazenar as informações.

produtores

Consumidores

Os consumidores leem os dados armazenados em um tópico.

Os consumidores também devem se conectar ao broker para ler as informações. Uma informação importante, não devem ter mais consumidores que partições!

Nós podemos ter mais de um consumidor para o mesmo tópico, podendo ser em grupo ou individualmente, isso é possível pois o Kafka balanceia essa leitura dos dados.

Um grupo de consumidor permite a leitura de dados de forma mais rápida e dinâmica, se eu tiver um tópico com três partições e tiver três consumidores, eu consigo ler as três partições de forma simultânea e paralelamente, isso também vale caso eu tenha cinco consumidores e assim por diante.

Assim como no controle da escrita, o Kafka também armazena em qual offset um consumidor está lendo, caso o processo caia, ele sabe de onde parou e volta o consumo dali em diante, nos poupando mais uma vez de fazer algum controle.

Podemos ler os dados de um determinado offset desde o começo!

O Kafka também armazena os consumidores como um tópico:

named_consumer_offsets

Mesmo que um consumidor assine todas informações contidas nas partições de um determinado tópico, o Kafka garante que outros consumidores venham assinar novamente essas informações.

Segue um desenho de como os produtores e os consumidores funcionam:

producers

Segue abaixo algumas referencias que me ajudam e me ajudaram muito neste processo.

QuickStart

https://kafka.apache.org/quickstart

Fonte

https://kafka.apache.org/intro

2
  • 1
    O link para o artigo no medium pode até mesmo ser uma boa adição à resposta, mas devo dizer que realmente não o li. A ideia da rede Stack Exchange é que as respostas sejam publicadas aqui para se fazer uma base de conhecimento centralizada. Informações extras, externas são bem vindas, quando complementares. Uma informação complementar não deve substituir o texto da resposta; como o próprio nome diz, ela é um complemento, não é a resposta em si. 22/08/2018 às 1:47
  • coloquei o conteúdo do medium aqui! Realmente ficou melhor. 23/08/2018 às 2:41

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .