Para exemplificar o problema vamos a um cenário real: tenho que acessar algo próximo a 450 diretórios compartilhados em rede para obter os metadados de um determinado arquivo, estes dados serão mais tarde comparados com os do arquivo original.
No cenário acima busco as informações de tamanho e data/hora (timestamp) da última modificação, obter estes dados é simples, basicamente chamo este módulo:
const fs = require('fs')
const metadata = (path) => {
return new Promise((resolve, reject) => {
fs.stat(path, (err, stats) => {
if (err) reject(err)
resolve(stats)
}
})
}
module.exports = metadata
O ponto aqui é que preciso que essa operação seja realizada em paralelo (neste ponto estou me referindo a execução em background via thread pool), ou seja, não posso bloquear o fluxo com um await, tanto que estou até utilizando set UV_THREADPOOL_SIZE=10
para aumentar a quantidade de thread...
Já tentei inúmeras soluções, em uma delas chamo o módulo apresentado acima e armazeno a Promise retornada em um array, logo adiante um laço for
percorre o array buscando cada Promise e chamando um then
, internamente essa instrução realiza a comparação com a origem, armazena o resultado se é igual ou não em um array e utiliza um if
para determinar se está era a ultima Promise do Array, se sim imprime na console o resultado final.
O problema é que não encontrei uma forma de executar essas consultas de forma paralela obtendo ao fim somente o resultado consolidado. Grosseiramente falando, não consegui sincronizar as operações assíncronas com trechos síncronos de modo a tirar proveito de ambos. Como posso consultar os dados de forma paralela e depois de forma síncrona executar instruções sobre os dados?
Promise.all
? Por si só, o JavaScript não é uma linguagem que permite execução paralela. Saiba mais sobre isso aqui. No Node.js, você pode utilizar oworker_threads
, para criar outras threads de execução.Promise.allSettled
.