Em geral não compensa paralelizar em mais de um nível. Isso até que é possível mas não vai fazer o seu código rodar mais rápido, a não ser que o primeiro nível de paralelismo não esteja conseguindo utilizar todo o recurso ocioso do computador.
Hoje em dia a forma mais fácil de se criar código paralelo no R é usando o pacote future
em combinação com o furrr
.
Veja aqui um exemplo clássico de paralelização:
library(furrr)
#> Loading required package: future
library(purrr)
plan(multisession)
fun <- function(x) {
Sys.sleep(1)
x
}
system.time(
map(1:4, fun)
)
#> user system elapsed
#> 0.004 0.001 4.020
system.time(
future_map(1:4, fun)
)
#> user system elapsed
#> 0.077 0.012 1.297
Created on 2019-02-13 by the reprex package (v0.2.1)
No exemplo, a versão paralela demora um pouco mais de 1s enquanto a versão sequencial demora 4s, como esperado.
Agora vamos adicionar um segundo nível de paralelização.
library(furrr)
#> Loading required package: future
library(purrr)
plan(multisession)
fun <- function(x) {
Sys.sleep(1)
x
}
system.time(
future_map(1:4, ~map(1:4, fun))
)
#> user system elapsed
#> 0.090 0.012 4.391
system.time(
future_map(1:4, ~future_map(1:4, fun))
)
#> user system elapsed
#> 0.065 0.005 4.223
Created on 2019-02-13 by the reprex package (v0.2.1)
Veja que as duas formas levam tempos muito similares. Isso acontece a pois primeira paralelização já usa todo o recurso ocioso de CPU do computador, o segundo nível da paralelização não consegue ganhar mais espaço.
O primeiro nível poderia não estar utilizando todos os recursos do computador, se por exemplo, meu computador tivesse 8 cores ao invés de 4, paralelizar apenas no primeiro nível deixaria 4 cores sub-utilizados. Neste caso faria sentido fazer a paralelização no segundo nível. No entanto, isso é raro. Em geral paralelizamos loops em que o número de iterações é > do que o número de cores.
%:%
. Veja.%do%
esta função é igual aofor
e com %dopar% é a versão paralelizada. Contudo antes tem que se configurar a paralelização com odoParallel
.%dopar%
sem configurar antes comdoParallel
não adianta. Antes de roda o código comforeach(...) %dopar%{...}
, você precisará rodardoParallel::registerDoParallel()
. Depois é só fechar o cluster criado comdoParallel::stopImplicitCluster()
.