1

Estou tendo um problema com uma query, ela tem a função de excluir alguns registros duplicados existentes em uma tabela.

Segue:

DELETE t1 
FROM bid_account t1 
    INNER JOIN bid_account t2 
WHERE t1.id > t2.id AND 
    t1.bidding_price = t2.bidding_price AND 
    t1.auction_id = '" . $obj->auction_id . "' AND 
    t1.bidding_type = 's' AND 
    t1.bid_flag = 'd' AND 
    DATE(t1.bidpack_buy_date) >= DATE(NOW())

O problema é que ao executar ela, demora muito para concluir e não resolve nada, parece não funcionar.

Eu fiz um select com essas mesmas condições, e algo absurdo aconteceu, ele repetiu vários registros, que não existem, por ex para o leilão com ID 15 tem 100 registros, ao consultar usando essas condições ele retorna mais de 80 mil registros.

Como posso fazer essa query funcionar corretamente?

2
  • Parece haver um erro de lógica no seu SQL. Se na consulta retorna mais de 80.000 registros é porque seus relacionamentos estão incorretos. Ou talvez o resultado seja esse mesmo. De qualquer forma, eu evitaria fazer esse JOIN que vc fez.... talvez seja melhor fazer um Exists, para evitar essas duplicidades.
    – Andrey
    11/04/2018 às 11:42
  • tambem acho que você precisa melhorar seu sql.. tem muita clausula alem do join. Se no select já retorna muitos registros, vai demorar mesmo no delete. Tente simplificar
    – Eloa
    11/04/2018 às 12:17

2 Respostas 2

10

Antes de responder, vamos colocar alguns pontos nos is:

Eu fiz um select com essas mesmas condições, e algo absurdo aconteceu, ele repetiu vários registros, que não existem, por ex para o leilão com ID 15 tem 100 registros, ao consultar usando essas condições ele retorna mais de 80 mil registros.

Nada de absurdo aconteceu. Esse resultado é um produto cartesiano que foi provocado pelo fato de você ter declarado um JOIN da tabela bid_account com ela mesmo sem qualquer restrição. Então, supondo que você tivesse 10 registros nela. O resultado seria 10 * 10 = 100 registros no resultado inicial. Na sequencia é que seriam aplicadas as restrições que você declarou no WHERE, o que poderia diminuir esse número (mas não muito).

Ao executar ela, demora muito para concluir e não resolve nada, parece não funcionar.

Demora! E para cada novo registro que for inserido nela, a demora aumenta exponencialmente. Isso certamente é pelo mesmo motivo do ponto acima.

Versão TLDR;

Se eu entendi corretamente, você quer eliminar registros que estão completamente repetidos em bid_account e manter somente o que tem o menor id. Nesse caso, sua consulta deveria ser assim*:

DELETE t1 
FROM bid_account t1 
WHERE EXISTS ( SELECT 1 
               FROM bid_account t2 
               WHERE t2.bidding_price = t1.bidding_price AND
                    t2.auction_id = t1.auction_id AND
                    t2.bidding_type  = t1.bidding_type AND 
                    t2.bid_flag = t1.bid_flag AND 
                    DATE(t2.bidpack_buy_date) = DATE(t1.bidpack_buy_date) AND
                    t2.id < t1.id) AND
    t1.auction_id = '" . $obj->auction_id . "' AND 
    t1.bidding_type = 's' AND 
    t1.bid_flag = 'd' AND 
    DATE(t1.bidpack_buy_date) >= DATE(NOW())

* Nota: Você deverá avaliar se as regras que definem a sua "duplicidade" são essas mesmo que eu declarei no subselect. É ali que você deve identificá-las. No WHERE você estabelece seus critérios para exclusão (exceto o que identifica a duplicidade). Assim sua query fica mais limpa e mais fácil de fazer ajustes como mudar os critérios

Um pouco mais sobre o que aconteceu

Na sua query, com o que foi declarado como restrições no where e supondo que a tabela tenha o conteúdo abaixo, teríamos o seguinte:

----------------------------------------------------------------------------------------------
| id | bidding_price |        auction_id        | bidding_type | bid_flag | bidpack_buy_date |
----------------------------------------------------------------------------------------------
|  1 |           2.0 | " . $obj->auction_id . " | s            | d        |    05/05/2018    | // Seria eliminado de t1 porque o id não é maior do que nenhum de t2
----------------------------------------------------------------------------------------------
|  2 |           2.0 | " . $obj->auction_id . " | s            | d        |    13/08/2018    |
----------------------------------------------------------------------------------------------
|  3 |           2.0 | " . $obj->auction_id . " | s            | d        |    17/10/2019    | 
----------------------------------------------------------------------------------------------
|  4 |           1.2 | " . $obj->auction_id . " | s            | a        |    22/02/2019    | // Seria eliminado de t1 pelo flag 'a'
----------------------------------------------------------------------------------------------
|  5 |           1.2 | " . $obj->auction_id . " | t            | d        |    30/09/2018    | // Seria eliminado de t1 pelo tipo 't'
----------------------------------------------------------------------------------------------
|  6 |           1.2 | " . $obj->auction_id . " | s            | d        |    01/04/2017    | // Seria eliminado de t1 pela data menor que hoje
----------------------------------------------------------------------------------------------

Então, sobraram 2 registros de t1 e todos os de t2 pois pelo menos um registro de t2 tem id menor do que cada um id de t1 e possui bidding_price equivalente também. Sabendo que o processamento já seria relativamente lento pelo produto cartesiano, se fizessemos um Select t1.* ... teríamos como resultado final o seguinte (2 * 6 = 12):

----------------------------------------------------------------------------------------------
| id | bidding_price |        auction_id        | bidding_type | bid_flag | bidpack_buy_date |
----------------------------------------------------------------------------------------------
|  2 |           2.0 | " . $obj->auction_id . " | s            | d        |    13/08/2018    |
----------------------------------------------------------------------------------------------
|  3 |           2.0 | " . $obj->auction_id . " | s            | d        |    17/10/2019    | 
----------------------------------------------------------------------------------------------
|  2 |           2.0 | " . $obj->auction_id . " | s            | d        |    13/08/2018    |
----------------------------------------------------------------------------------------------
|  3 |           2.0 | " . $obj->auction_id . " | s            | d        |    17/10/2019    | 
----------------------------------------------------------------------------------------------
|  2 |           2.0 | " . $obj->auction_id . " | s            | d        |    13/08/2018    |
----------------------------------------------------------------------------------------------
|  3 |           2.0 | " . $obj->auction_id . " | s            | d        |    17/10/2019    | 
----------------------------------------------------------------------------------------------
|  2 |           2.0 | " . $obj->auction_id . " | s            | d        |    13/08/2018    |
----------------------------------------------------------------------------------------------
|  3 |           2.0 | " . $obj->auction_id . " | s            | d        |    17/10/2019    | 
----------------------------------------------------------------------------------------------
|  2 |           2.0 | " . $obj->auction_id . " | s            | d        |    13/08/2018    |
----------------------------------------------------------------------------------------------
|  3 |           2.0 | " . $obj->auction_id . " | s            | d        |    17/10/2019    | 
----------------------------------------------------------------------------------------------
|  2 |           2.0 | " . $obj->auction_id . " | s            | d        |    13/08/2018    |
----------------------------------------------------------------------------------------------
|  3 |           2.0 | " . $obj->auction_id . " | s            | d        |    17/10/2019    | 
----------------------------------------------------------------------------------------------

Espero que isso ajude.

2
1

A melhor solução que encontro é estabeleceres um limite para apagar. Faz o delete na mesma acrescentando, por exemplo, LIMIT 10000 no final da query. Apaga os registos na mesma mas por parcelas.

Um ciclo ou uma rotina para ir executando essa query e penso que o problema fica resolvido.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .