5

Estive pesquisando como paralelizar o for no R e encontrei o package foreach, que, pelo que eu entendi e corrijam me se estiver errado, substitui o for da seguinte forma:

library(foreach)
vetor <- rep(NA, 10)
n <- seq_len(10)
foreach(j = n) %dopar% {
vetor[j] <- j + 1
}

Minha questão como fazer em um caso onde tenho for(){for(){}}, for(){for(){for(){}}}... É possível subparalelizar?

4
  • 1
    Parece que a resposta está no operador %:%. Veja. Commented 13/02/2019 às 16:06
  • Acabei de descobrir terei que estudar o ´library(doParallel)´ para fazer o ´library(foreach)´ funcionar melhor. Commented 13/02/2019 às 16:13
  • @TomásBarcellos a importância do operador é que com %do% esta função é igual ao for e com %dopar% é a versão paralelizada. Contudo antes tem que se configurar a paralelização com o doParallel. Commented 15/02/2019 às 12:17
  • 1
    Usar %dopar% sem configurar antes com doParallel não adianta. Antes de roda o código com foreach(...) %dopar%{...}, você precisará rodar doParallel::registerDoParallel(). Depois é só fechar o cluster criado com doParallel::stopImplicitCluster().
    – JdeMello
    Commented 15/02/2019 às 13:44

1 Resposta 1

7

Em geral não compensa paralelizar em mais de um nível. Isso até que é possível mas não vai fazer o seu código rodar mais rápido, a não ser que o primeiro nível de paralelismo não esteja conseguindo utilizar todo o recurso ocioso do computador.

Hoje em dia a forma mais fácil de se criar código paralelo no R é usando o pacote future em combinação com o furrr.

Veja aqui um exemplo clássico de paralelização:

library(furrr)
#> Loading required package: future
library(purrr)
plan(multisession)

fun <- function(x) {
  Sys.sleep(1)
  x
}

system.time(
  map(1:4, fun)  
)
#>    user  system elapsed 
#>   0.004   0.001   4.020

system.time(
  future_map(1:4, fun)  
)
#>    user  system elapsed 
#>   0.077   0.012   1.297

Created on 2019-02-13 by the reprex package (v0.2.1)

No exemplo, a versão paralela demora um pouco mais de 1s enquanto a versão sequencial demora 4s, como esperado.

Agora vamos adicionar um segundo nível de paralelização.

library(furrr)
#> Loading required package: future
library(purrr)
plan(multisession)

fun <- function(x) {
  Sys.sleep(1)
  x
}

system.time(
  future_map(1:4, ~map(1:4, fun))  
)
#>    user  system elapsed 
#>   0.090   0.012   4.391

system.time(
  future_map(1:4, ~future_map(1:4, fun))  
)
#>    user  system elapsed 
#>   0.065   0.005   4.223

Created on 2019-02-13 by the reprex package (v0.2.1)

Veja que as duas formas levam tempos muito similares. Isso acontece a pois primeira paralelização já usa todo o recurso ocioso de CPU do computador, o segundo nível da paralelização não consegue ganhar mais espaço.

O primeiro nível poderia não estar utilizando todos os recursos do computador, se por exemplo, meu computador tivesse 8 cores ao invés de 4, paralelizar apenas no primeiro nível deixaria 4 cores sub-utilizados. Neste caso faria sentido fazer a paralelização no segundo nível. No entanto, isso é raro. Em geral paralelizamos loops em que o número de iterações é > do que o número de cores.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .