0

Para exemplificar o problema vamos a um cenário real: tenho que acessar algo próximo a 450 diretórios compartilhados em rede para obter os metadados de um determinado arquivo, estes dados serão mais tarde comparados com os do arquivo original.

No cenário acima busco as informações de tamanho e data/hora (timestamp) da última modificação, obter estes dados é simples, basicamente chamo este módulo:

const fs = require('fs')

const metadata = (path) => {
  return new Promise((resolve, reject) => {
    fs.stat(path, (err, stats) => {
      if (err) reject(err)

      resolve(stats)
    }
  })
}

module.exports = metadata

O ponto aqui é que preciso que essa operação seja realizada em paralelo (neste ponto estou me referindo a execução em background via thread pool), ou seja, não posso bloquear o fluxo com um await, tanto que estou até utilizando set UV_THREADPOOL_SIZE=10 para aumentar a quantidade de thread...

Já tentei inúmeras soluções, em uma delas chamo o módulo apresentado acima e armazeno a Promise retornada em um array, logo adiante um laço for percorre o array buscando cada Promise e chamando um then, internamente essa instrução realiza a comparação com a origem, armazena o resultado se é igual ou não em um array e utiliza um if para determinar se está era a ultima Promise do Array, se sim imprime na console o resultado final.

O problema é que não encontrei uma forma de executar essas consultas de forma paralela obtendo ao fim somente o resultado consolidado. Grosseiramente falando, não consegui sincronizar as operações assíncronas com trechos síncronos de modo a tirar proveito de ambos. Como posso consultar os dados de forma paralela e depois de forma síncrona executar instruções sobre os dados?

5
  • 2
    Já tentou usar Promise.all? Por si só, o JavaScript não é uma linguagem que permite execução paralela. Saiba mais sobre isso aqui. No Node.js, você pode utilizar o worker_threads, para criar outras threads de execução. Commented 4/04/2020 às 20:43
  • Sim estou ciente. Irei modificar a pergunta para deixar mais claro este ponto, na verdade estou trabalhando com um volume de threads maior que o padrão para atender a quantidade de consultas, principalmente considerando que algumas delas podem ficar agarradas até que um timeout da chamada ocorra. No caso Promise.all não me atende plenamente uma vez que não existe garantia de que todas as Promises serão resolvidas. Commented 4/04/2020 às 20:47
  • 2
    Se o ambiente suportar, você pode utilizar Promise.allSettled. Commented 4/04/2020 às 21:04
  • Eu sei, e entendo, que o seu objetivo é obter uma solução fechada em Javascript, mas caso não consiga uma solução já considerou um servidor Python auxiliar ao Node.js agendado e executando essas tarefas paralelamente. Commented 4/04/2020 às 21:14
  • Estou fechado no JavaScript mais por necessidade, infelizmente não me foi dada a possibilidade de utilizar outra tecnologia. Mas pessoalmente com certeza consideraria sim. Agora estou olhando para a API Worker, verei se consigo uma luz. Commented 4/04/2020 às 21:32

1 Resposta 1

-1

Consegui chegar a uma solução satisfatória utilizando Promise.allSettled (sugestão do @Luiz Felipe).

Abstração da solução:

// ...
await Promise.allSettled(promises).then((results) => {
// ... código aqui
})

Este código basicamente resolve minha vida. Ele me permite realizar as 450 consultas utilizando a Thread Pool, o valor promises passado para Promise.allSettled é um array de promises. Já o await me permite travar o fluxo até que todas as promises tenham sido resolvidas pelo allSettled.

Normalmente disparo este processo utilizado set UV_THREADPOOL_SIZE=10 && node index.js, desta forma tenho mais thread a disposição.

Obs: também farei testes utilizando a API Worker.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .