0

Olá, estou tentando aprender um pouco de paralelização em Python para paralelizar alguns loops for. Estou utilizando a joblib. Contudo, o primeiro exemplo que realizei, disponibilizado no próprio site da biblioteca, parece não ter funcionado muito bem.O código paralelizado está absurdamente mais lento que o serial. Já mudei o número de processadores utilizados de acordo com o disponivel na máquina, mas nada! Ah, por default a biblioteca trabalha com multiprocessamento, devido a questão da GIL do python, etc...

from math import sqrt
from joblib import Parallel, delayed
import time

#Serial 
start=time.time()
def f():
    results = []
    for i in range(100000):
        results.append(sqrt(i ** 2))
    return results

c=f()
print(time.time()-start)
0.07995438575744629

#Paralelo 
start=time.time()
def g():
    def _g(x):
        return sqrt(x)
    return Parallel(n_jobs=4)(delayed(_g)(i ** 2) for i in range(100000))
d=g()
print(time.time()-start)
3.191032648086548

Alguém poderia dar o caminho para entender o que está acontecendo?

0

1 Resposta 1

1

Não conheço a "joblib" - em particular não sei se ela cria threads ou processos - mas a única chamada a sqrt de qualquer forma é muito pequena perto do trabalho de serializar um número inteiro (em Python, inteiros são objetos) deserializar, e fazer o caminho inverso. A serialização é necessária se a joblib usar múltiplos processos. Internamente o Python vai chamar pickle.dumps nos parâmetros que estão sendo passados para a outra biblioteca - na "chegada", tem que chamar pickle.loads - depois de calculado o resultado, o caminho inverso. a chamada math.sqrt por outro lado é uma fina camada em torno do código para calcular raiz quadrada em pontos flutuantes de 64bit direto na CPU e é muito rápida.

Se ela, por outro lado, usar multi-threading, você não ganha nada, por que em Python só uma thread usa a CPU por vez, e tudo é executado em um único núcleo (você tem ganhos se fizer I/O - escrita em arquivos, ou acesso a rede na threads) - mas não precisaria do processo de serialização dos dados. Pela demora a mais, eu diria que ele está usando múltiplos processos.

Com um workload mais realista, você pode ver algum ganho aí com a joblib - inclusive avaliar se precisa dela ou se pode usar concurrent.futures que já vem junto com o Python.

Nessa resposta eu teço mais considerações sobre paralelização em Python: Python código serial vs multiprocessing vs threading

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .