3

Estou realizando uma implementação de verificação de produtos cadastrados na base. Suponhamos que eu possua 4 produtos, A,B,C,D. Preciso fazer com que todos sejam comparados entre si mesmo (exceto com o próprio) apenas uma vez, então se eu já fiz a comparação

A - B
A - C
A - D

Não preciso fazer novamente a comparação

B - A 

Uma vez que

B-A = A-B

Hoje eu estou fazendo isso através do código abaixo

data = [['1','A'],['2','B'],['3','C'],['4','D']]

for i in range(len(data)):
  for j in range(len(data)):
    if(i != j):

        codProduto1 = data[i][0]
        codProduto2 = data[j][0]

        descProduto1 = data[i][1]
        descProduto2 = data[j][1]

        # ------ ABAIXO VERIFICAÇÃO PARA NÃO COMPARAR O MESMO PRODUTO
        #opcao1 = Inserção original
        opcao1 = codProduto1 + ' - ' + codProduto2
        
        #opcao2 = Inserção invertida 
        opcao2 = codProduto2 + ' - ' + codProduto1

        #VERIFICA SE A COMPARAÇÃO JÁ FOI FEITA
        try:
            declaracao = f"SELECT codigo1, codigo2, opcao1,opcao2 FROM inicio WHERE opcao1 = '{opcao1}' OR opcao2 = '{opcao2}' OR opcao1 = '{opcao2}' OR opcao2 = '{opcao1}'LIMIT 0,9999999999;"
            con = mysql.connector.connect(user='root', password='root', host='NB012563', database='cargaInicial')
            cursor = con.cursor()
            cursor.execute(declaracao)
            linhas = cursor.fetchall()
            qtLinhas = cursor.rowcount
            #print("Total de registros: ", qtLinhas)

            if(con.is_connected()):
                cursor.close()
                con.close()
            #print("Conexão encerrada")

        # SE AINDA NÃO FOI FEITO ESS COMPARAAÇÃO, qtLinhas = 0. 
        # CASO SEJA 0, FARÁ A INSERÇÃO DESTA COMPARAÇÃO NO BANCO DE COMPARAÇÃO
        if(qtLinhas == 0):
            now = datetime.now() 
            date_time = now.strftime("%Y-%m-%d %H:%M:%S")
            declaracao = f'INSERT INTO inicio (codigo1,codigo2, opcao1, opcao2 ,dataHora) VALUES ("{codProduto1}","{codProduto2}","{opcao1}","{opcao2}","{date_time}");'
            try:
                con = mysql.connector.connect(user='root', password='root', host='NB012563', database='cargaInicial')
                inserir_produtos = declaracao
                cursor = con.cursor()
                cursor.execute(inserir_produtos)
                con.commit()
                cursor.close()

                if(con.is_connected()):
                    con.close()
                    #print("Conexão encerrada")
 

No meu código eu estou utilizando a seguinte lógica:
Na primeira vez que irei comparar A - B já adiciono no banco a comparação A - B e junto, B - A
Quando for a vez de compara B - A verifico no banco se possuo essa comparação. Caso sim, não faço mais essa verificação.

Para esse exemplo citado acima, funciona perfeitamente pois são apenas 4 produtos, totalizando 12 verificações.
Porém na prática tenho mais de 48.000 produtos para comparar, o que gera um número gigantesco de verificações
Tentei rodar esse código com os 48 mil produtos, mas em 8 horas de execução consegui realizar apenas 180 mil comparações em um total de 1 bilhão e alguns milhões, então torna inviável utiliza-lo.

Gostaria de saber como posso tornar essas comparações minimamente viável para rodar (nem que leve uma semana por exemplo)

1
  • O que está sendo comparado, ou como se dá essa comparação? Pode não resultar em nada, mas pergunto pois dependendo do que for, uma mudança, ou outra compreensão, na estrutura dos dados pode reduzir brutalmente o tempo de solução. 16/09/2022 às 4:56

1 Resposta 1

3

Você pode usar o módulo itertools, que possui a função combinations, que gera exatamente o que você precisa: todas as combinações entre os elementos, sem repetir. Seria algo assim:

from itertools import combinations

data = [['1','A'],['2','B'],['3','C'],['4','D']]
for (codProduto1, descProduto1), (codProduto2, descProduto2) in combinations(data, 2):
    print(codProduto1, descProduto1, codProduto2, descProduto2)

No caso eu só imprimi os códigos para mostrar que ele de fato só traz o que você precisa:

1 A 2 B
1 A 3 C
1 A 4 D
2 B 3 C
2 B 4 D
3 C 4 D

Claro que em vez do print, você pode fazer o que quiser com os dados. Só que agora não precisa mais do SELECT que verifica se a comparação já foi feita, porque combinations já garante que não haverá essas repetições que você estava verificando. Basta usar os dados da forma que precisar.

Mas ainda sim vai demorar bastante, pois se a lista tem 48.000 itens, então a quantidade de combinações é 1.151.976.000 (mais de 1 bilhão). Ainda sim, é melhor do que fazer dois loops aninhados e um monte de consultas ao banco para verificar as repetições.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .