Existem algumas possibilidades para trabalhar com requisições que exigem processamento pesado. Vou basear minha resposta supondo que você está utilizando nodejs como frontend server.
Primeiro você terá que decidir se a requisição que exige processamento será síncrona (usuário espera resposta do servidor) ou assíncrona ( usuário envia a requisição e esquece dela... em algum momento o servidor termina de processar e manda uma notificação para o cliente, por websocket ou long pooling do cliente).
Baseado na resposta da pergunta anterior a arquitetura do seu back será diferente. Se você escolher fazer síncrono, terá que garantir que a resposta não irá demorar muito para ser gerada. Portanto acho que a melhor opção nesse caso é fazer uma biblioteca compilada e fazer um wrapper pra ela para o nodejs e fazer a chamada direto no node. No caso de ter escolhido a opção assíncrona. Você poderá optar por utilizar filas para distribuir a carga de processamento para outros processos e deixar o servidor nodejs livre pra entender outras requisições.
Ao utilizar uma fila o nodejs jogaria as mensagens contendo as informações necessárias para fazer o processamento para dentro da fila e outros processos (Workers) estariam monitorando a fila para pegar essas mensagens e de fato fazer o processamento.
Você pode também utilizar filas com requisições síncronas, mas terá que garantir que você sempre tenha workers suficiente para dar vazão a fila rapidamente.
Alguns exemplos de filas seriam: Zeromq, RabbitMQ, IronMQ, SQS(AWS)... Existem muitas outras, tem que ver qual preenche melhor os seus requisitos.
Algumas vantagens da abordagem com filas são:
- Desacoplamento entre os módulos
- Fácil de escalar
- A maior parte das filas possuem uma interface http, o que torna simple utiliza-las em qualquer linguagem. (ZeroMQ sendo uma excessão por ser uma biblioteca e não um programa, mas possui wrapper para muitas linguagens então dá na mesma).
- Filas amortecem o impacto de picos de requisições.
Quanto a parte de síncrono vs assíncrono vou aprofundar um pouco mais para não gerar dúvidas.
Existem dois níveis em que você deve escolher se a chamada será assíncrona ou síncrona. Primeiro nível é a requisição do cliente para o servidor. O cliente vai esperar a resposta ou ele vai fazer a requisição e ir fazer outras coisas enquanto o servidor processa ela? Segundo nível é como o servidor vai tratar a própria operação q ele deve fazer ao receber uma requisição. no caso de síncrona o servidor será capaz de atender uma requisição por processo/thread. no caso de assíncrona o servidor é capaz de atender várias requisições por thread.
No caso do node por ser javascript e possuir apenas uma thread que executa seu código, a linguagem te força a utilizar as operações do servidor que necessitam de I/O assincronamente. Acabou que esse modelo consegue atender mais requisições do que o modelo síncrono + uma requisição por thread.
Quando perguntei sobre a requisição ser assíncrona ou síncrona no seu caso, estava me referindo a primeira opção e não a segunda. Como vc usa node todas as suas operações internas do servidor que utilizam I/O serão assíncronas. O que você deve decidir é se o seu usuário receberá a resposta dele na hora, com a resposta da requisição HTTP que ele fizer, ou depois, seguindo uma das 3 opções:
- Consultando o servidor com pooling pra saber se a operação já foi completada.
- Recebendo uma notificação via websocket.
- Quando der refresh da página.