6

Estou tentando escrever métodos com comportamento semelhante ao Array.prototype.forEach e o Array.prototype.map, porém usando múltiplas threads.

No caso do Array.prototype.parallelMap, fiz o seguinte:

Array.prototype.parallelMap = function (callback, complete) {
  var self = this;
  var count = 1;
  var result = [];
 
  var onmessage = "onmessage = " + function (event) {  	
    var indice = event.data[0];
    var object = event.data[1]; 

    var result = callback(object, indice)
    postMessage([indice, result]);
  }.toString();
  
  callback = "var callback = " + callback.toString();

  var blob = new Blob([onmessage, "\n\r", callback], { type: 'text/javascript' });
  var _url = URL.createObjectURL(blob);

  var onmessage = function (event) {
    result[event.data[0]] = event.data[1];
    if (self.length == count++) {
      complete(result);
    }
  }

  self.forEach(function (object, indice) {
    var worker = new Worker(_url);
    worker.onmessage = onmessage;
    worker.postMessage([indice, object]);
  });
}

var numeros = [0, 2, 4, 6, 8, 1, 3, 5, 7, 9];

numeros.parallelMap(function (numero, indice) {
  return numero + Math.random();
}, function (result) {
  console.log(result);
});

porém para Array.prototype.parallelForEach eu preciso ser capaz de modificar a coleção dentro da função, a minha função de callBack deve servir apenas para informar que terminei de interar a coleção:

Array.prototype.parallelForEach = function (callback, finish) { ... };

var numeros = [0, 2, 4, 6, 8, 1, 3, 5, 7, 9];
numeros.parallelMap(function (numero, indice) {
    numero += Math.random(); //não estou conseguindo persistir esta modificação.
}, function () {
    console.log(numeros); // os valores da coleção numeros deveriam está alterados neste ponto.
});
2
  • Pode ser um pouco mais claro sobre qual seu problema? Você precisa que no parallelForEach a coleção seja modificada? Ou a função parallelMap não está passando para o callback a coleção modificada? Commented 21/01/2016 às 15:48
  • @GuilhermeNagatomo, o parallelMap está ok, o problema aqui é modificar a coleção no parallelForEach Commented 26/01/2016 às 12:27

1 Resposta 1

4

Para modificar a coleção dentro da função onmessage, você precisa utilizar uma referência a própria coleção (self), ao invés da variável 'result':

self[event.data[0]] = event.data[1];

Apenas para complementar a resposta:

O método Parallel.ForEach no framework .NET executa um processamento em cada um dos elementos de um array (map) e esse processamento pode ou não ser feito utilizando paralelismo.

No momento da execução do método, o .NET avalia os recursos disponíveis (ex: número de processadores e memória) e a quantidade de processamento disponível na máquina para determinar se:

  • vale a pena ou não executar a operação map em paralelo
  • em quantas threads o trabalho será divido (caso haja vantagem no paralelismo)

Supondo que o seu código Javascript seja executado em uma página web, você não tem como acessar todas essas informações do sistema para decidir se vale a pena a execução paralela.

Mesmo se você preferir 'forçar' a execução paralela, você precisa determinar quantas threads irão executar o serviço e, para isso, você precisará saber, por exemplo, quantos processadores (físicos e lógicos) estão disponíveis no sistema, pois caso o número de threads ultrapasse o número de núcleos disponiveis, pode haver perda de desempenho.

No seu código, você está criando uma thread por elemento do array e, provavelmente, isso vai reduzir o desempenho, pois o esforço para criar as threads será muito maior que o ganho com o processamento paralelo.

Uma solução comum para esse tipo de implementação é criar um pool de threads e dividir o array em partes, que serão processadas separadamente em cada thread.

No método onmessage, o código do pool recolhe os resultados e atualiza os elementos do array.

Após a execução da última thread, você chama o callback finish.

Um ponto importante que precisa ser avaliado também é que a comunicação entre a thread principal e os Workers é feita através da cópia dos parâmetros e não por referência, e isso pode gerar perda de desempenho dependendo do algoritmo que você irá implementar.

Segue abaixo, um exemplo comentado de implementação desse conceito com um pool de 4 threads, porém, não recomendo o uso desse código em nenhum ambiente de produção.

Uma sugestão para você testar os conceitos acima, é você implementar um "cronômetro" e fazer diversos testes com tamanhos de arrays diferentes (pequeno, médio, gigante), com números de threads diferentes e, se possível, em máquinas diferentes (com quantidades de processadores diferentes) para observar o comportamento e o desempenho da implementação.

// Determina o número de threads no pool
var NUMERO_DE_THREADS = 4

// Cria o método parallelMap
Array.prototype.parallelMap = function (callback, finish) {
    var self = this;
    // Pool de threads
    var pool = [];
    // Status da thread. false => já terminou o trabalho
    var status = [];

    // Corpo do objeto Worker
    var source = "onmessage = " + function (event) {
        // Posição no array
        var posicao = event.data[0];
        // Trecho do array a ser processado
        var dados = event.data[1];
        // Callback de processamento
        eval("var cb = " + event.data[2]);
        // ID da thread
        var id = event.data[3]

        // Efetua o processamento do trecho do array
        for (var i=0; i<dados.length; i++)
            dados[i] = cb(dados[i], i);
        // Retorna o resultado
        postMessage([id, posicao, dados]);
        // Finaliza o Worker
        close();
    }.toString();

    var blob = new Blob([source], { type: 'text/javascript' });
    var _url = URL.createObjectURL(blob);

    // Cria um pool de workers
    for (var i=0; i<NUMERO_DE_THREADS; i++) {
        // Seta o status do worker como true => trabalhando
        status[i] = true;
        // Cria o Worker
        pool[i] = new Worker(_url);
        // Processa o retorno do Worker
        pool[i].onmessage = function(e) {
            var id = e.data[0];
            var posicao = e.data[1];
            var resultado = e.data[2];
            // Atualiza o array com os resultados
            for (var j=0; j<resultado.length; j++)
                self[posicao+j] = resultado[j];
            // Sinaliza que este Worker terminou o trabalho
            status[id] = false;
            // Retorna se algum Worker ainda estiver trabalhando
            for (var j=0; j<NUMERO_DE_THREADS; j++)
                if (status[j])
                    return;
            // Todos terminaram o trabalho, chama o callback finish
            finish(self);
        }
    }

    // Calcula o tamanho do trabalho de cada Worker, divindo o tamanho
    // do array pelo número de threads
    var tamanhoDoTrabalho = Math.floor(self.length / NUMERO_DE_THREADS);

    // Inicia o trabalho do pool e envia cada parte do array para
    // um Worker
    var posicao = 0;
    for (var i=0; i<NUMERO_DE_THREADS; i++) {
        var trabalho;

        if (i<NUMERO_DE_THREADS-1)
            trabalho = self.slice(posicao, posicao+tamanhoDoTrabalho);
        else
            trabalho = self.slice(posicao);
        pool[i].postMessage([posicao, trabalho, callback.toString(), i]);
        posicao += tamanhoDoTrabalho;
    };
}

var numeros = [7, 2, 4, 6, 8, 1, 3, 5, 7, 9];

numeros.parallelMap(function (numero, indice) {
        return numero + Math.random()*200;
    }
    , function (resultado) {
        console.log(resultado); // os valores da coleção numeros deveriam está alterados neste ponto.
    }
);

Atualização:

Em resposta ao comentário sobre não utilizar o return dentro do callback, neste caso é necessário acessar o elemento do array através do parâmetro indice, pois o elemento não é passado por referência para a função callback, portanto, não pode ser atualizado diretamente.

Alterando a linha:

dados[i] = cb(dados[i], i);

Para:

cb(dados, i);

A função callbacknão precisará do return.

Assim, a chamada da função parallelMap fica da seguinte forma:

numeros.parallelMap(function (numero, indice) {
            numero[indice] += Math.random()*200;
        }
        , function (resultado) {
            console.log(resultado);
        }
    );

Bibliotecas para execução paralela em Javascript:

Parallel.js - Parallel Computing with Javascript

Hamsters.js | Parallel Javascript

threads.js

Inline Worker

5
  • A ideia aqui era fazer o método Array.prototype.forEach e Array.prototype.map, porém fazendo uso de Workers, o System.Threading.Tasks.Parallel serviu apenas de inspiração para o desafio. uma das caracteristicas do forEach é a ausência do return, se for para usar o return, poderia muito bem usar o map da seguinte forma: var array = array.map(function (item, indice) { return item * 2; }) que seria o mesmo de numeros.parallelMap(function (numero, indice) { return numero + Math.random()*200; }, function (resultado) { numeros = resultado; }); Commented 26/01/2016 às 12:00
  • E quanto a questão do grau de paralelismo, não vejo como uma boa pratica você forçar um pool que simula o new ParallelOptions { MaxDegreeOfParallelism = 4 }, por exemplo, se o cliente usa uma CPU com apenas dois nucleos e sem hyper-threading, então teremos no maximo dois Workers trabalhando em paralelo. Commented 26/01/2016 às 12:10
  • Oi @TobyMosque ! Coloquei uma atualização na resposta sobre o return. Espero que ajude!! Realmente, não é um boa prática forçar o pool pois, conforme eu coloquei na resposta, o script não tem acesso às informações do runtime da mesma forma que o .NET, para determinar se haverá paralelismo e qual o número ideal de threads que serão executadas (caso haja). De qualquer forma, acredito que, caso você precise realmente utilizar esse código em produção, provavelmente forçar o pool será melhor do que criar um Worker por elemento do array.
    – Gomiero
    Commented 26/01/2016 às 16:01
  • isto também não vai funcionar, o Worker trabalhar em um escopo completamente diferente da pagina principal, desda forma não há o compartilhamento de variáveis, a comunicação entre o Worker e o Pagina se dá apenas por meio de mensagens. Commented 26/01/2016 às 19:50
  • 1
    agora que vi a sua edição, gostei bastante do Parallel.JS Commented 15/07/2016 às 16:38

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .