1

Estou tentando paralelizar uma função que calcula a similariedade cosine:

Eis meu codigo:

import numpy as np
def cos_sim(a,b):
    dot_product = np.dot(a,b)
    norm_a = np.linalg.norm(a)
    norm_b = np.linalg.norm(b)
    if(norm_a == 0 or norm_b == 0):
        return 0
    else:
        return dot_product / (norm_a * norm_b)

def newsimilarityitem(matriz):
    cs = []
    for i in range(0, len(matriz)):
        cs.append([0]*len(matriz))

    for i in range(0,len(matriz)-1): #AQUI
        for l in range(i+1,len(matriz)): #AQUI
            a = np.array(matriz[i])
            b = np.array(matriz[l])
            r = cos_sim(a,b)
            cs[i][l] = r
            cs[l][i] = r
    return cs

O que o codigo faz:

matriz = [[4,3,0,0,5,0],
          [5,0,4,0,4,0],
          [4,0,5,3,4,0],
          [0,3,0,0,0,5],
          [0,4,0,0,0,4],
          [0,0,2,4,0,5]]

Dado uma matriz (Não obrigatoriamente quadrática) onde as linhas são representadas por itens e as colunas são representadas por usuários e as células são notas, irei calcular a similaridade coseno entro os itens Cosine similarity. A função é chamada:

matriz_simi = newsimilarityitem(matriz)

Na função a matriz cs (Obrigatoriamente quadrática) irá presentar a similaridade ou seja: dado o índice de um item i e o índice de outro item l a similaridade de um item é cs[i][l] ou cs[l][i]. A função cos_sim(a,b) irá pegar duas numpy array e irá calcular a similaridade.

Estou tentando paralelizar os dois laços marcados acima. Atualmente a complexidade é O(n²/2)(Eu suponho), mas paralelizando irei economizar muito tempo já que em recomendações posso ter milhares de usuarios e produtos.

Atualmente minha maquina possui 4 cores e estou usando multiprocessing, mas estou aberto a qualquer tipo de biblioteca que posso facilitar essa tarefa.

0

Você deve fazer log-in para responder a esta pergunta.

Pesquise outras perguntas com a tag .