Olá, estou tentando aprender um pouco de paralelização em Python para paralelizar alguns loops for. Estou utilizando a joblib. Contudo, o primeiro exemplo que realizei, disponibilizado no próprio site da biblioteca, parece não ter funcionado muito bem.O código paralelizado está absurdamente mais lento que o serial. Já mudei o número de processadores utilizados de acordo com o disponivel na máquina, mas nada! Ah, por default a biblioteca trabalha com multiprocessamento, devido a questão da GIL do python, etc...
from math import sqrt
from joblib import Parallel, delayed
import time
#Serial
start=time.time()
def f():
results = []
for i in range(100000):
results.append(sqrt(i ** 2))
return results
c=f()
print(time.time()-start)
0.07995438575744629
#Paralelo
start=time.time()
def g():
def _g(x):
return sqrt(x)
return Parallel(n_jobs=4)(delayed(_g)(i ** 2) for i in range(100000))
d=g()
print(time.time()-start)
3.191032648086548
Alguém poderia dar o caminho para entender o que está acontecendo?