4

Estou com um sistema para ser desenvolvido que vai precisar lidar com uma grande quantidade de requisições simultâneas, onde cada uma dessas requisições vai, provavelmente, envolver alguma tarefa que exige bastante processamento. Pesquisando por meios de como lidar com essa situação eu cheguei a conclusão (óbvia?) de que a solução seria delegar tarefas que exigem mais processamento pra um programa escrito numa linguagem adequada para tal. Leigo como sou, tive a ideia de substituir o PHP por nodejs e deixar que o servidor redirecione as requisições para páginas e elementos estáticos para o nodejs, e depois da página carregada qualquer tarefa pesada seria requisitada via ajax e o servidor redirecionaria essas requisições para os programas escritos em uma linguagem compilada.

Gostaria de: 1 - Opiniões. Essa é realmente uma decisão inteligente? Viável? 2 - Como eu poderia fazer essa integração entre as duas, ou mais, linguagens?

Obs.: Sei programar em PHP. As outras linguagens envolveriam estudos, e/ou contratações.

A ideia de trocar o PHP por nodejs veio de algumas pesquisas que indicaram maior eficiência desse último em lidar com requisições simultâneas, caso eu esteja equivocado, por favor me avisem. Obrigado

1 Resposta 1

4

Existem algumas possibilidades para trabalhar com requisições que exigem processamento pesado. Vou basear minha resposta supondo que você está utilizando nodejs como frontend server.

Primeiro você terá que decidir se a requisição que exige processamento será síncrona (usuário espera resposta do servidor) ou assíncrona ( usuário envia a requisição e esquece dela... em algum momento o servidor termina de processar e manda uma notificação para o cliente, por websocket ou long pooling do cliente).

Baseado na resposta da pergunta anterior a arquitetura do seu back será diferente. Se você escolher fazer síncrono, terá que garantir que a resposta não irá demorar muito para ser gerada. Portanto acho que a melhor opção nesse caso é fazer uma biblioteca compilada e fazer um wrapper pra ela para o nodejs e fazer a chamada direto no node. No caso de ter escolhido a opção assíncrona. Você poderá optar por utilizar filas para distribuir a carga de processamento para outros processos e deixar o servidor nodejs livre pra entender outras requisições.

Ao utilizar uma fila o nodejs jogaria as mensagens contendo as informações necessárias para fazer o processamento para dentro da fila e outros processos (Workers) estariam monitorando a fila para pegar essas mensagens e de fato fazer o processamento.

Você pode também utilizar filas com requisições síncronas, mas terá que garantir que você sempre tenha workers suficiente para dar vazão a fila rapidamente.

Alguns exemplos de filas seriam: Zeromq, RabbitMQ, IronMQ, SQS(AWS)... Existem muitas outras, tem que ver qual preenche melhor os seus requisitos.

Algumas vantagens da abordagem com filas são:

  • Desacoplamento entre os módulos
  • Fácil de escalar
  • A maior parte das filas possuem uma interface http, o que torna simple utiliza-las em qualquer linguagem. (ZeroMQ sendo uma excessão por ser uma biblioteca e não um programa, mas possui wrapper para muitas linguagens então dá na mesma).
  • Filas amortecem o impacto de picos de requisições.

Quanto a parte de síncrono vs assíncrono vou aprofundar um pouco mais para não gerar dúvidas.

Existem dois níveis em que você deve escolher se a chamada será assíncrona ou síncrona. Primeiro nível é a requisição do cliente para o servidor. O cliente vai esperar a resposta ou ele vai fazer a requisição e ir fazer outras coisas enquanto o servidor processa ela? Segundo nível é como o servidor vai tratar a própria operação q ele deve fazer ao receber uma requisição. no caso de síncrona o servidor será capaz de atender uma requisição por processo/thread. no caso de assíncrona o servidor é capaz de atender várias requisições por thread.

No caso do node por ser javascript e possuir apenas uma thread que executa seu código, a linguagem te força a utilizar as operações do servidor que necessitam de I/O assincronamente. Acabou que esse modelo consegue atender mais requisições do que o modelo síncrono + uma requisição por thread.

Quando perguntei sobre a requisição ser assíncrona ou síncrona no seu caso, estava me referindo a primeira opção e não a segunda. Como vc usa node todas as suas operações internas do servidor que utilizam I/O serão assíncronas. O que você deve decidir é se o seu usuário receberá a resposta dele na hora, com a resposta da requisição HTTP que ele fizer, ou depois, seguindo uma das 3 opções:

  • Consultando o servidor com pooling pra saber se a operação já foi completada.
  • Recebendo uma notificação via websocket.
  • Quando der refresh da página.
12
  • Se a resposta de ajudou, poderia marcar como resposta? Commented 10/03/2016 às 16:02
  • No caso de uma requisição assíncrona, o processo seria bloqueado até que a tarefa seja terminada e a reposta seja enviada pro cliente, por isso que deve terminar o mais rápido possível, certo? Isso bloquearia apenas para a requisição atual ou bloquearia o servidor inteiro de receber requisições? como eu disse não entendo muito de nodejs mas esse bloqueamento do servidor é uma característica da natureza single thread do node, certo? ou estou confundindo as coisas aqui? No caso de requisições asíncronas com long pooling, que efeito isso teria no geral, em outras requisições... Commented 10/03/2016 às 17:22
  • @valterrodri, Atualizei minha resposta. Commented 10/03/2016 às 17:49
  • primeiro corrigindo, acima eu troquei requisição síncrona por assíncrona bem no início do comentário. Segundo, assumo que com cliente esperar tu diz o usuário do sistema/site, certo? Nesse caso sim, o cliente permaneceria na página e no estado em que estava no momento da requisição. o que ta me deixando confuso é o lado servidor. Como o nodejs eh single-thread, queria saber uma forma eficiente de lidar com as requisições que exigem alto processamento e não bloquear o recebimento de novas requisições. Esse seria todo o ponto de fazer com que essas requisições "pesadas" nem passassem pelo node. Commented 10/03/2016 às 20:55
  • A requisição irá passar pelo node, mas logo que ela bate no node você manda o processamento pesado rodar assincronamente, através de filas. O node continua recebendo requisição e quando recebe a resposta do processamento ele envia para o usuário sem bloquear nada. Commented 10/03/2016 às 23:31

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .