38

Tenho uma tabela com uma coluna codigo. Não posso definir como chave primária. Em um sistema que recebe muitas notificações antes verifica com um SELECT para ver se aquele código já existe na tabela. Se não existir ele dá o INSERT e se existir ele faz o UPDATE.

Acontece que esse sistema recebe muitas notificações via POST onde muitas delas acontecem ao mesmo tempo para o mesmo código.

Muitas vezes o sistema, mesmo dando o SELECT antes, acaba inserindo códigos duplicados na tabela.

Não sei como é que o MySQL trata isto, pelo que não sei se é seguro fazer um SELECT verificador antes do INSERT. Presumo que exista uma espécie de fila de consultas e que a mesma vai sendo processanda uma a uma.

$rs = $db->query("SELECT COUNT(1) AS tem_codigo FROM tabela WHERE codigo = $codigo");

if ($rs['tem_codigo'] == 0){
    // aqui daria o insert
} else {
    // aqui daria o update
}

Como que um código acima poderia permitir inserir dois registros com códigos iguais? Imagina uma requisição com uma notificação acontecendo ao mesmo tempo, exatamente ao mesmo tempo.

Qual a melhor maneira de contornar isso sem uso de chave primária?

5
  • 2
    Você tem, ou pode criar, uma chave UNIQUE na coluna do código?
    – bfavaretto
    Commented 16/01/2014 às 15:46
  • não posso mexer na estrutura do banco =/
    – rodrigoum
    Commented 16/01/2014 às 15:51
  • Você já tentou fazer isso por procedure ? As vezes isso pode resolver, visto que o SQL é mais rápido para rodar o SELECT do que o código mesmo. Commented 16/01/2014 às 15:55
  • Não seria o caso de verificar o código antes de dar o insert, porque aí a rotina verificaria se existe se não deu o insert?
    – user3083
    Commented 30/01/2014 às 10:25
  • 1
    Sim pode haver duplicação de registros. Dois selects simultâneos retornarão o mesmo código. Não pense em termos de "fila de processamento" BD não funciona bem assim. Sugiro estudar concorrência, transações e nível de isolamento. A melhor solução seria o campo código ser auto incremento que dai você garante que a base vai lidar com isso.
    – jean
    Commented 6/02/2014 às 16:58

8 Respostas 8

24

Uma solução seria bloquear a tabela com o comando LOCK TABLES dentro de uma transação. Obviamente alguém pode argumentar que isso é ruim para o desempenho. E é mesmo, pois você está enfileirando todas as requisições numa única fila e não por código, como seria o ideal.

Uma solução mais adequada seria usar o comando INSERT ON DUPLICATE, que permite realizar o UPDATE em caso da existência do registro.

Exemplo:

INSERT INTO table (a,b,c) VALUES (1,2,3)
ON DUPLICATE KEY UPDATE c=c+1;

Porém, como você não pode colocar uma PK na tabela, esta solução acaba se tornando inviável.


Update

Uma alternativa à segunda solução que não envolve alterar a tabela, seria a criação de uma outra tabela auxiliar apenas com o código em questão como PK. Os passos do código seriam:

  1. Garanta a existência do código nesta tabela alternativa usando o INSERT DUPLICATE KEY
  2. Inicie uma transação
  3. Execute um SELECT FOR UPDATE no registro da tabela alternativa fazer um bloqueio do registro em questão
  4. Faça normalmente a inserção ou atualização na tabela definitiva, pois nesse momento outras requisições estarão bloqueadas
  5. Efetive a transação

Embora esta solução parece muito complexa, no caso de muitas operações concorrentes ela vai trazer a vantagem de não bloquear toda a tabela. Como já mencionei, bloquear a tabela irá enfileirar todas as requisições, enquanto o bloqueio por código irá permitir que códigos diferentes sejam inseridos ou atualizados simultaneamente.


Observação final

Afirmações do tipo "não posso mexer" são um pouco complicadas. Se alguém está tentando lhe impedir de realizar alterações por alguma questão de burocracia, então como um bom engenheiro de software você deve argumentar que melhorias e correções necessitam de alterações.

2
  • 1
    Pelo que eu entendi, pela falta de chave única, esta condição (ON DUPLICATE KEY) não seria nunca executada... Commented 16/01/2014 às 16:00
  • @J.Hudler Certo, estava completando a resposta. Mas justamente por isso comecei com a solução por lock.
    – utluiz
    Commented 16/01/2014 às 16:14
9

O cenário de duas operações acontecerem exactamente no mesmo timestamp é remoto, mas pode acontecer.

Dado não poderes fazer alterações à base de dados, o que sugiro é que bloqueies a tabela antes de realizares qualquer operação com recurso ao MySQL LOCK TABLES:

LOCK TABLES `minhaTabela` WRITE;
/*!40000 ALTER TABLE `minhaTabela` DISABLE KEYS */;
INSERT INTO `minhaTabela` VALUES ...
/*!40000 ALTER TABLE `minhaTabela` ENABLE KEYS */;
UNLOCK TABLES;

Isto não é muito vantajoso em termos de performance, dado que as operações na tabela vão estar bloqueadas até que a requisição anterior tenha sido concluída. Em suma, vais estar a criar uma única fila de acções do tipo FIFO (primeiro a chegar primeiro a ser atendido).


O cenário ideal é aplicar indexações extra na tabela para efeitos de performance, ou seja, como a consulta é realizada no campo codigo, o mesmo deveria estar indexado.

Por outro lado, pelo que descreves o campo código não pode ficar com valores repetidos, pelo que deveria estar marcado como UNIQUE para evitar duplicados.

Não sei se quando dizes que não podes mexer na tabela é por não poderes aceder à gestão da mesma, se for esse o caso, podes sempre correr uma consulta para alterar esse campo em particular atribuindo-lhe o UNIQUE:

  • Marcar campo como UNIQUE

    ALTER IGNORE TABLE minhaTabela ADD UNIQUE (codigo);
    
  • Marcar campo como index

    ALTER TABLE minhaTabela ADD INDEX (codigo);
    

Se não podes aceder à gestão da mesma e não podes executar consultas que alterem a estrutura da tabela, aconselho que fales com quem pode para que isso seja feito, ou à medida que os dados na tabela crescem, a aplicação vai ficar cada vez mais lenta.

7

Para pensar um pouquinho fora da caixa:

Há alguma restrição que a coluna código tenha que ser numérica e sequencial? Aliás, qual o tipo dela? Se ela é numérica, qual o valor máximo que ela suporta?

Às vezes, esquecemos de fazer esta pergunta e que podem existir soluções diferentes.

O seu problema é em evitar colisão entre dois registros nesta coluna. Uma forma de fazer isto seria gravar dados que possuem uma distribuição maior entre eles. Por exemplo, ao invés de pegar o "próximo valor", armazenar o hash de vários identificadores. Ou seja, guardar nela o valor do MD5 (usuário + timestamp + qualquer coisa). A probabilidade de colisão é bem menor, e assim os valores armazenados acabariam sendo unique sem você ter alterado nada no banco, apenas a lógica da sua aplicação.

4
  • 1
    A ideia é muito boa. Porém, sou a favor de não realizar o hash MD5, ou qualquer outro hash. Tenho essa opinião por, mesmo tendo baixa probabilidade, HASHS podem ter colisões. O MD5, como no exemplo dado, tem uma probabilidade de 1/(2^128), o que é "fácil" de acontecer. O exemplo dado, sem o HASH MD5, tem menos probabilidade de causar conflito: usuario + timestamp + algumacoisa (que pode ser um rand(time()), por exemplo)
    – FReNeTiC
    Commented 16/01/2014 às 20:28
  • Opa. Concordo com você, que em uma solução ideal, se não é para ter colisões dentro de uma coluna, o ideal é setar como unique, ou auto-incrementar. Só pensei nesta solução porque ele falou que não pode mudar o banco (e imaginei que se não pode mudar esta coluna, não poderá também criar outra tabela, etc) Commented 16/01/2014 às 20:30
  • O codigo vem da notificação então também tenho essa limitação.
    – rodrigoum
    Commented 17/01/2014 às 7:22
  • 2
    "... probabilidade de 1/(2^128), o que é "fácil" de acontecer..." Não não é, isso é um número absurdamente alto algo como 1 em um bilhão de bilhão de bilhão de bilhão de 256.
    – jean
    Commented 6/02/2014 às 18:56
4

Quando se trata de várias conexões ao mesmo banco de dado, com dados sendo selcionandos e inseridos tudo ao mesmo tempo, tem que realmente se preocupar com transações e quando um certo grupo de dados vão ou não vão existir.

Como já foi dito, utilizando e entendendo o TRANSACTION ISOLATION LEVEL é muito importante. No MySQL, o InnoDB tem algumas níveis de isolação das transações. São REPEATABLE READ, READ COMMITTED, READ UNCOMMITED, e SERIALIZABLE.

Transações

  • Repeatable Read - Quando o nível da isolação é repeatable read, quer dizer que dentro da mesma transação, qualquer dado que é lido vai ser mantido o mesmo. Ou seja, não importa quantas vezes faz um SELECT, vai voltar exatamente a mesma coisa, mesmo que outra coisa faz um UPDATE nos mesmos dados.

  • Read Committed - Essa nível de isolação quer dizer que cada 'leitura' (SELECT) olha tudo que já está COMMITed, ou seja, transações que já terminaram. Assim, nunca terá dados que foram alturados dentro de uma transação, antes da transação terminar.

  • Read Uncommitted - Essa nível também é conhecido, pelo menos aqui nos EUA, como 'Dirty Read' (leitura suja). Isto porque permite que qualquer SELECT pode ler dados que foram colocados na tabela, mas não estão comitidos. Quer dizer, se roda um SELECT duas vezes, é capaz de dar resultados diferentes, pois os dados não estão 'concretos'.

  • Serializable - Quase igual à REPEATABLE READ, o serializable é usado quando quer ter absoluta certeza que, dentro de uma transação, os dados são sempre exatamente iguais. Tem outras diferenças mais técnicas também.

Fonte: MySQL 5.0 Reference Manual

3

O certo seria usar transações usando o método de isolamento de transações correto para encapsular transações.

Para o seu caso, quando inicia a transação precisa enxergar se outra transação alterou os dados, então pode pôr o isolamento assim:

SET TRANSACTION ISOLATION LEVEL READ COMMITED

Para iniciar uma transação implicitamente na próxima consulta, execute o SQL:

SET AUTOCOMMIT=0
SELECT ...
INSERT ...

ou

UPDATE ...

e por fim:

COMMIT
SET AUTOCOMMIT=1
3

Sem alterar a base apenas alterando a query dinâmica seria algo +- assim:

begin tran with isolation level read commited

update table where id = @iD

if (@@rowcount = 0) -- se não atualizou

insert into table

commit tran

O @@rowcount é uma variável global do MS SQL que retorna quantos registros foram afetados (não sei se o MySql tem algo parecido mas a lógica seria a mesma)

A solução seria deixar tudo dentro de uma transação com um nível de isolamento bem restritivo, possivelmente dando lock na tabela para evitar dirty reads de outros selects.

Dai faz o insert ou update dentro da mesma query (mesma transação) que é o único meio de você garantir que outro commando simultâneo não ira ler ou gravar na mesma tabela.

2

Eu tenho este problema.

Em casos como o seu onde alterar o banco não é uma opção eu simulo as sequences do Oracle no MySql. Para isso eu crio uma tabela tb_seq_sequence, nesta tabela eu guardo o nome da tabela e um valor numérico, que seria o valor atual.

Depois eu encapsulo o acesso a esta tabela numa classe SequenceUtil, onde ela é responsável por recuperar o valor atual e incrementa-lo em seguida.

Existe a possibilidade de duas pessoas acessarem esta sequence ao mesmo tempo, mas é muito improvável. Eu sempre usei este tipo de solução e até hoje me atendeu super bem.

Caso queira algo infalível você pode usar a solução do @Zuul e dar um lock na tabela de sequence. Isto com certeza não lhe causará problemas.

1

Se puder usar o SELECT dentro de uma transação, é seguro sim.

Se você puder criar uma procedure, pode passar apenas os valores pra ela e a procedure se encarrega de fazer o que tem que fazer, sem precisar que o banco retorne valores e você precise verificá-los com a sua programação php.

Exemplo simples de procedure com MySQL:

Criando uma tabelinha para testar e uma massa de teste:

CREATE TABLE `cliente` (
  `id` int(11) NOT NULL,
  `nome` varchar(255) NOT NULL
);

INSERT INTO `cliente` (`id`, `nome`) VALUES
(1, 'Alexandre'),
(2, 'Maria'),
(3, 'Pedro'),
(4, 'Paulo'),
(5, 'João'),
(6, 'Zaqueu'),
(7, 'Marcelo'),
(8, 'Marcela');

Procedure que vai verificar com um SELECT se o ID já existe e fazer um INSERT, e caso não exista fará um UPDATE:

DELIMITER //

CREATE PROCEDURE verify_id_and_insert( IN esteid int(11), IN estenome varchar(255) )
BEGIN
  DECLARE EXIT HANDLER FOR SQLEXCEPTION ROLLBACK;
  START TRANSACTION;

   SELECT id INTO @verificaid FROM cliente WHERE id=esteid;

  IF (@verificaid IS NULL) THEN
    INSERT INTO cliente(id,nome) VALUES(esteid, estenome);
    COMMIT;
  ELSE
    UPDATE cliente SET nome=estenome WHERE id=esteid;
    COMMIT;
  END IF;
END//

DELIMITER ;

Exemplos de chamada da procedure:

Exemplo que faz um INSERT porque não existe id = 9:

CALL verify_id_and_insert(9,'Penélope');

Exemplo que faz um UPDATE por exisitr cliente com id = 1, chamado Alexandre, então o mesmo é alterado:

CALL verify_id_and_insert(1,'Alexandre Alterado'); 

Como ficará a tabela cliente após as duas chamadas da procedure criada:

1   Alexandre Alterado
2   Maria
3   Pedro
4   Paulo
5   João
6   Zaqueu
7   Marcelo
8   Marcela
9   Penélope

Caso não possa criar procedure, deverá começar a transação rodando uma query START TRANSACTION; , em seguida fazer o que tem que fazer e depois um COMMIT; no final. Caso dê erro e queira reverter o que fez deverá rodar uma query ROLLBACK;

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .