3

Na empresa onde eu trabalho, precisamos integrar nosso sistema desktop, o qual possui um banco de dados local com um sistema que estará rodando em um servidor cloud. O primeiro pensamento foi utilizar JSON, mas ouvindo e lendo algumas coisas, acabei vendo que boa parte do processamento de um servidor acaba indo por causa dos parse e como alternativa cheguei a pensar em utilizar algumas outras possibilidades de integração, como Socket ou RMI. Pensar em outra alternativa foi devido não ter muitos recursos as máquinas e querer ter um desempenho melhor. Esta seria uma boa escolha ou não?

EDIT

Cenário da integração:

Nos clientes possui um sistema desktop rodando, sendo ele um sistema gerenciador (retaguarda com cadastro de produtos, clientes, contas a pagar e tudo mais que existe) e também um frente de caixa e que possui um banco de dados MySQL no cliente. A integração terá um integrador, por assim dizer, que ficará pegando os dados do banco de dados e enviando para esta nova estrutura na nuvem, onde terá uma aplicação rodando para receber estas informações e persistir no banco de dados, no caso preparada para trabalhar com JSON, RMI ou Socket.

Então vou ter controle nas duas partes, tanto na que envia, como na que recebe. Como falei, a primeira alternativa seria JSON, mas após ouvir um case de uma empresa, acabei voltando a pensar no que utilizar, já que eles pararam de utilizar o mesmo devido o grande custo/tempo de processamento com o parse e partiram para RPC, no caso o RMI no Java.

A princípio esta integração será para poucos clientes, mas vamos dizer que pode chegar daqui algum tempo para cerca de 2000 clientes.

Dados que irá integrar: Tudo, desde cadastros (cliente, produtos, endereços, telefones e muito mais até movimentações como venda, pagamentos, transferências e etc.)

Quantidade de comunicações: A princípio não muitas, mas com tendência a aumentar para cerca de 2000 clientes, os quais cada um terá um integrador e irá enviar os dados para esta estrutura.

Outros sistemas irá integrar? Nesta entrada de dados do integrador não.

9
  • 2
    Que tipo de dados precisará integrar? Serão muitas comunicações? Muitos dados? Mais algum sistema precisará integrar com o servidor em cloud? Talvez respondendo estas perguntas fica mais fácil de te ajudar. Commented 15/02/2017 às 2:51
  • Bem-vindo ao Stack Overflow em Português! Reforçando o que o Murillo disse acima, é quase impossível dizer o melhor formato para uma integração sem ter uma noção do tipo, do tamanho, da frequência de transmissão e do tempo de resposta esperado. Por favor, edite sua pergunta com esses detalhes, se possível com exemplos. Abraço!
    – utluiz
    Commented 15/02/2017 às 3:59
  • 1
    Só para contextualizar e lhe dar uma ideia, o tempo de interpretação do JSON é completamente insignificante na esmagadora maioria dos casos, a não ser para grandes volumes de dados ou talvez para sistemas de "tempo real", nos quais você pode obter vantagens em suar formatos binários ou mais compactos, porém humanamente ininteligíveis.
    – utluiz
    Commented 15/02/2017 às 4:01
  • @MurilloGoulart desculpe pela falta de informação na pergunta. Adicionei o cenário que será a integração e mais algumas informações.
    – melpin
    Commented 15/02/2017 às 10:37
  • @utluiz Muito obrigado! Já realizei as modificações e coloquei como será o cenário mais ou menos. Em relação ao parse do JSON pensei devido aos objetos terem outros objetos acoplados, como Venda, que possuo uma lista de produtos vendidos, que nesta lista possuo um produto, que neste produto possui diversas outras informações... Então pensei nestas alternativos como RMI e Socket.
    – melpin
    Commented 15/02/2017 às 10:40

3 Respostas 3

5

[...] O primeiro pensamento foi utilizar JSON, mas ouvindo e lendo algumas coisas, acabei vendo que boa parte do processamento de um servidor acaba indo por causa dos parse e como alternativa cheguei a pensar em utilizar algumas outras possibilidades de integração, como Socket ou RMI. [...]

Isso daqui é falacioso por vários motivos:

  • Você está misturando coisas. Socket é um canal de comunicação para transportar um monte de bytes de um lado a outro. JSON é um formato de estruturação de dados. Fazendo uma analogia com o mundo real, vamos supor que você queira viajar da cidade A à cidade B, então o socket seria equivalente ao portão de uma garagem ou a uma plataforma de trem e o JSON seria a bagagem que você está levando contigo. Não há sentido em dizer que você escolhe um em detrimento do outro.

  • Supondo que você use socket para transportar algo que não é JSON, ainda assim, para montar pacotes com esses dados, enviá-los de um lado a outro e interpretá-los corretamente, você provavelmente vai acabar inventando um parser com isso e esse parser pode ser mais simples ou mais complexo do que usando JSON.

  • RMI é uma tecnologia que permite você a trabalhar mais rápido na integração e deixa os detalhes do transporte de objetos mais transparente. Entretanto, o protocolo RMI é significativamente complexo e pesado, bem mais complicado do que o HTTP.

Há também outros aspectos a se considerar:

  • RMI não é muito amigável a firewalls.

  • Inspecionar o conteúdo de mensagens trafegadas via RMI, fazer log e medir o tráfego são tarefas complicadas.

  • Serialização é algo bem chato de se lidar com o RMI, especialmente quando o você tem clientes com diferentes versões do aplicativo que usam classes incompatíveis entre si e o servidor tem que dar suporte a ambos. Esse cenário é bem mais fácil de se lidar usando REST + JSON.

  • Tudo isso usa sockets no fim das contas. Se quiser usar os sockets diretamente, muita coisa ainda vai depender do que você está utilizando neles. Entretanto, sem ter mais detalhes de qual é o formato dos dados trafegados, fica difícil avaliar essa solução.

  • Existem outras alternativas além dessas. Nada te impede de enviar por meio do HTTP, FTP, SOAP, e-mail, ou o que quer que seja, um monte de bytes com a estrutura que você preferir: XML, JSON, imagens, binário, TXT ou o formato que você quiser.

Ah, e nem sempre desempenho é um quesito tão importante ou que pode ser medido de forma simples. Por exemplo, vejamos os seguintes cenários:

  1. Você tem um grid computacional distribuído triturando números para fazer simulações quânticas de comportamentos de partículas.

  2. Você vai fornecer streaming de vídeo ao vivo de alta resolução para dezenas de milhares de pessoas.

  3. Você tem que processar imediatamente milhares de pedidos de compra simultâneos originados de redes de lojas com milhares de filiais.

  4. Você tem um crawler que vasculha a internet ou plataformas sociais para buscar, ordenar e filtrar informação.

  5. Você tem uma rede social na qual vários clientes/usuários estão interagindo uns com os outros, postando e recebendo um monte de conteúdo.

Cada um desses cenários é otimizado de um jeito diferente. Uma solução considerada de alta performance em um desses cenários pode ser completamente inadequada em um outro.

O seu cenário se aproxima mais do 3, e acho que o que você vai querer otimizar será o tempo de resposta da requisição, o que é diferente do conceito clássico de desempenho que é apenas quantidade de instruções processadas por unidade de tempo (que faz mais sentido no caso 1). Com isso, você vai ter que medir ou estimar:

  • (A) Quanto tempo ele demora para receber a requisição.

  • (B) Quanto tempo ele demora para fazer o parse dos dados da requisição.

  • (C) Quanto tempo ele demora para fazer algum serviço com esses dados (transformar em outros dados, salvar no banco de dados, enviar para um outro serviço, etc).

  • (D) Quanto memória é gasta com esse processo.

Se ao medir ou estimar esse processo, o tempo gasto for dominado por qualquer coisa que não seja o B, então otimizar o tempo de parse não vai te trazer muitos ganhos reais, pois provavelmente não seria aí que estaria o seu gargalo. Na maioria dos casos reais que vejo, o maior gargalo está no item C, e não no item B. Aliás, no caso de JSON, que tem uma estrutura bem simples, quase sempre o item B acaba sendo insignificante.

Um outro aspecto importante, é o se você vai usar requisição síncrona ou assíncrona. O modelo assíncrono é muito mais escalável, e é uma das razões por trás do sucesso de sites como Amazon, Twitter e Facebook, que lidam com um volume monstruoso de requisições. A ideia aqui é tão logo o passo A acima seja completado, que os dados recebidos sejam armazenados na memória, no disco ou no banco de dados com o mínimo possível de processamento a fim de dar uma resposta logo ao cliente. Essa resposta ao cliente não diz se a requisição foi bem sucedida ou não, ela apenas diz que ela foi recebida e será processada mais tarde. Com isso, você pode mover essas informações recebidas para outros servidores e processá-las sem ter que manter a conexão com o cliente aberta, incluindo nisso o item B e a maior parte dos itens C e D. Mais tarde o cliente faz uma requisição ao servidor perguntando se o processo já terminou e se teve sucesso ou erro, e caso o processo já tenha sido finalizado, o servidor pega o resultado já pronto e devidamente formatado e o entrega.

Por fim, você deve separar duas coisas: Uma coisa é especificar qual o formato dos dados, outra coisa é especificar como eles saem da origem e chegam no destino. Tecnologias como o RMI, o CORBA e o EJB unem as duas coisas, mas as tendências mais modernas na arquitetura de computadores estão indo no sentido contrário.

De qualquer forma, eu já eliminaria de cara o RMI. Gerenciar o RMI é difícil, e ele só funciona bem quando há uma rede disponível de alta disponibilidade, alta confiabilidade e alta velocidade, que não é o seu caso. O RMI seria uma solução viável para o caso 4 delineado acima e talvez o caso 1, mas para o caso 3, isso não funciona tão bem. O RMI só funcionaria legal (talvez) se você tiver um conjunto de servidores formando um grid, e mesmo assim se ele ficar restrito apenas ao ambiente dos servidores. Mas de todas as formas, não vejo o RMI como uma boa alternativa para conversar com os clientes.

1
  • Realmente, no meu cenário RMI e Socket não se encaixaria muito bem devido a vários fatores e o parse dos JSON não é o problema que eu esteja pensando que vou ter. Vou continuar com a estratégia do JSON e trabalhar em cima. Muito obrigado pelo esclarecimento e pleo seu tempo Victor.
    – melpin
    Commented 16/02/2017 às 10:42
3

Como o Victor já disse na resposta dele, provavelmente o parser de JSON não será o gargalo da sua aplicação, a não ser que, por alguma razão, haja um número excessivo de mensagens.

Antes de mais nada, você precisa estimar a quantidade de mensagens por minuto (use a unidade adequada para seu caso) esperada quando migrar para o novo sistema. Talvez você precisa instrumentalizar o sistema atual para logar a quantidade de escrita e leitura no banco e então fazer alguma estatística com esses dados.

Multiplique o resultado pelo crescimento máximo que você espera na base clientes nos próximos 5 anos (só um exemplo).

Suponha que você chegou a um valor de 500 mensagens/transações por minuto.

A partir daí, a nova arquitetura terá que responder como ela vai aceitar 500 requisições por minuto, processar a entrada, aplicar regras de segurança, regras de negócio, alterar o banco de dados e gerar uma resposta.

Percebe como parsing de JSON praticamente some no meio disso tudo?

Um sistema na nuvem geralmente deve ser escalável, no sentido de permitir adicionar ou remover mais nós num cluster sob demanda e continuar funcionando normalmente. Por exemplo, você pode chegar à conclusão de que para atender 500 transações por segundo, você precisa de 5 instâncias da aplicações em diferentes 5 nós. Neste caso, o parsing de JSON some ainda mais.

Enfim, a não ser que haja realmente fortes e concretas razões para você acreditar que parsing será um gargalo, é uma má ideia fazer uma escolha tão cedo.

Reflita se o case que você ouviu sobre o desempenho do JSON tem algo a ver com o seu case. Pondere ainda a confiabilidade da informação, pois infelizmente muitas pessoas usam a tecnologia de forma inapropriada. Existem várias implementações de JSON e várias formas de usar cada uma. Para alguém falar com propriedade sobre o desempenho do JSON, teria primeiro que demonstrar que foi feita uma comparação e a melhor estratégia disponível estava sendo usada.

Finalmente, existem alternativas equivalentes ao JSON que prometem ser mais rápidas e estruturadas, como o Protobuf do Google. Como no seu caso você vai trafegar dados estruturados de negócio, talvez seja uma boa ideia avaliar tal ferramenta pois ela permite a definição mais estrita dos tipos de dados num formato mais compacto, mas legível.

1
  • 1
    A aplicação do case eu tenha visto realmente é um pouco diferente e não é o mesmo cenário, então acho que viajei um pouco em relação a isto sobre JSON e caso eu precise de mais processamento a alternativa seja esta que você falou, criar um cluster e o parse do JSON nem irá aparecer. Muito obrigado.
    – melpin
    Commented 16/02/2017 às 10:44
2

Para integrações de dados entre frente de caixa e servidor, onde a frente de caixa deve funcionar mesmo quando perde totalmente o acesso com o servidor, já vi serem aplicadas com sucesso as seguintes abordagens:

  • Integração direta entre bancos de dados via jobs: O banco local comunica com o servidor para sincronizar os cadastros e enviar os novos movimentos; Mais fácil de implementar, não exigindo processo externo ao banco de dados;

  • Integração com EDI: O frente de caixa sincroniza os cadastros a partir da leitura de arquivos disponibilizados pelo servidor, como TXT com formato fixo, ou XML/JSON. Desta mesma forma grava os movimentos e disponibiliza em arquivos para o servidor em local compartilhado na rede ou envia por algum protocolo de transferência de arquivo (FTP?);

Acredito que com RMI, e ainda mais com Socket, a complexidade da implementação aumentará drasticamente, além de precisar de processos externos, como um servidor robusto para aceitar conexões, inclusive sendo mais um recurso para ser administrado na sua arquitetura.

1
  • No caso o nosso sistema no cliente não terá em certo momento dependência mesmo do sistema que estará na nuvem, onde este sistema servirá apenas para consultas de informações e geração de relatórios. Sobre a integração direta de bancos talvez não seja possível, já que queremos normalizar/distribuir algumas informações que estão embaixo na parte de cima. Você acha que com socket ou RMI eu precisaria de um servidor mais robusto do que realizar a integração via Web Service com JSON ou XML?
    – melpin
    Commented 15/02/2017 às 11:11

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .