8

Tenho um processo que preciso implementar em meu sistema que, em determinado momento, irá verificar um número relativamente grande de dados e, caso não encontre, deverá guardar no banco MySQL. Isso deve ser feito registro a registro.

Não estou encontrando uma forma de fazer isso sem que sobrecarregue o servidor. Estou desenvolvendo em PHP e até o momento a única maneira que pensei foi fazer um loop lendo cada "linha", verificando se existe, caso não exista, gravo, recupero o ID e gravo em outra tabela. Caso já exista, apenas recupero o ID e salvo em outra tabela.

Dessa forma teria que fazer 1 consulta + 1 gravação + 1 leitura (recuperar o ID recém salvo) + 1 gravação para cada registro. Se pensarmos que será comum cada operação fazer isso em média 3000 vezes, torna-se inviável. Além disso será comum também ter mais de um usuário fazendo este mesmo processo ao mesmo tempo.

Qual seria a forma mais correta de proceder neste caso?

[Informações adicionais]

É um sistema de movimentação de produtos. Cada produto tem um "serial". Então preciso verificar cada serial na tabela "A" e caso não exista, realizo o cadastro, pego o ID e lanço na tabela "B". Caso o serial já esteja cadastrado na tabela "A", apenas lanço o serial dele na tabela "B".

inserir a descrição da imagem aqui

9
  • 1
    Já pensou na possibilidade de usar Events, Procedures e Triggers assim você evita esta redundância, deixando toda a regra no banco de dados e longe do PHP! Commented 31/05/2015 às 4:41
  • Acredito que possa haver uma otimização para seu sistema. Se ele verifica se existe um determinado ID em uma tabela, é porque esse ID tem que estar em outra tabela, caso contrário ele não saberia o que verificar. Então, porque não cadastrar os novos IDs que surgirem também na tabela em que é necessário a verificação?!
    – dm707
    Commented 1/06/2015 às 2:09
  • @DiegoMachado, é exatamente este o processo: verifico se o ID existe na tabela "A", se existir pega o ID (da tabela "A") e insere na tabela "B". Caso não exista, insere o registro na tabela "A", recupera o ID e insere na tabela "B". São conteúdos de movimentação de produtos. Cada produto tem um serial. Então eu preciso verificar serial a serial. Se o serial já está cadastrado (tabela A), pego o ID e laço na tabela B. E assim por diante, conforme já explicado. Commented 1/06/2015 às 14:58
  • Acredito que não tenha entendido o que falei, o que estou tentando é tentar pular esse processo de verificação, mas se não for possível ok, veremos o outro jeito. Quis dizer o seguinte: Por que adicionar os registros em apenas uma tabela para depois ter que conferir tudo pra ver se existe na outra também? Não sei como foi feito o sistema mas acredito que seria mais fácil se os registros já fossem adicionados nas duas tabelas de vez, porque já que a verificação é feita automaticamente então não haveria problema em cadastrar lá de vez, entendeu o que quis dizer.
    – dm707
    Commented 1/06/2015 às 17:24
  • @DiegoMachado acredito que realmente eu não te entendi. O serial, que deve ser único, será gravado em apenas uma tabela e seu ID que deverá ser movimentado. O sistema já existe hoje e funciona da forma como (acho que) entendi sua explicação: gravo o serial em mais de uma tabela. Estou redesenhando o sistema para evitar essa redundância. Adicionei uma figura ao enunciado para ilustrar o que necessito. Na verdade, com tudo isso, quero apenas saber uma forma de evitar uma consulta por linha num loop que pode ter milhares de repetições. Commented 2/06/2015 às 12:56

3 Respostas 3

5
+25

Acho que você não deveria, nem deve, estar gravando o SERIAL, nas tabelas Entrada e Saida, neste caso para fazer o insert você precisaria fazer utilizando uma Stored Procedure, pois você estaria passando informações para o banco de duas tabelas.

Então a solução que proponho:

Tabelas:

CREATE TABLE `testes`.`produto` (
  `id` INT NOT NULL AUTO_INCREMENT,
  `descricao` VARCHAR(45) NULL,
  `serial` BIGINT NOT NULL,
  PRIMARY KEY (`id`),
  UNIQUE INDEX `serial_UNIQUE` (`serial` ASC));

CREATE TABLE `testes`.`entrada` (
  `identrada` INT NOT NULL AUTO_INCREMENT,
  `id_produto` INT NULL,
  `data` TIMESTAMP NOT NULL DEFAULT CURRENT_TIMESTAMP,
  PRIMARY KEY (`identrada`),
  INDEX `fk_produto_idx` (`id_produto` ASC),
  CONSTRAINT `fk_produto`
    FOREIGN KEY (`id_produto`)
    REFERENCES `testes`.`produto` (`id`)
    ON DELETE SET NULL
    ON UPDATE NO ACTION);

Stored Procedure:

DELIMITER $$

CREATE DEFINER=`root`@`localhost` PROCEDURE `grava_item_entrada`(in serial_produto bigint(20))
BEGIN
    DECLARE ID_PROD INT DEFAULT NULL;

    SET ID_PROD := (SELECT P.ID FROM PRODUTO P WHERE P.SERIAL = serial_produto);

    IF (ID_PROD IS NULL ) THEN
        INSERT INTO PRODUTO (SERIAL) VALUE (serial_produto);
        SET ID_PROD := LAST_INSERT_ID();
    END IF;

    INSERT INTO ENTRADA (ID_PRODUTO) VALUES (ID_PROD);  
END

Ai é só chamar a procedure pelo PHP que deve funcionar, por exemplo.

$mysqli->query("CALL grava_item_entrada(@serial)");
1
  • 1
    Excelente sugestão! Vou fazer alguns pequenos ajustes, adequando à minha realidade, mas penso que isso resolverá minha situação - ou pelo menos amenizará um pouco os recursos do servidor. Commented 3/09/2015 às 12:48
4

Seu problema aparenta ser não escalonável, ou seja, se todos os registros que tem na tabela possuem chaves diferentes, não há como otimizar essa busca, pois isso já é competência do banco de dados e de seus algoritmos de decisão, busca, inserção e etc.

A não ser que você faça o particionamento da sua tabela. Essa pode ser uma boa saída quando não se tem como criar índices mais específicos e otimizáveis, o que me parece ser o seu caso. Com o particionamento as tabelas ficarão menores, e serão sempre espelho uma da outra o que facilita encontrar o dado que se procura em um grande volume de dados.

3

Vou dar uma solução mais elegante, simples e fácil, primeiro criando as tabelas:

CREATE TABLE `tab_produto` (
  `id_produto` int(11) NOT NULL AUTO_INCREMENT,
  `serial` varchar(45) DEFAULT NULL,
  PRIMARY KEY (`id_produto`),
  UNIQUE KEY `serial_UNIQUE` (`serial`)
) ENGINE=InnoDB AUTO_INCREMENT=7 DEFAULT CHARSET=utf8;

  CREATE TABLE `tab_entrada` (
  `id_entrada` int(11) NOT NULL AUTO_INCREMENT,
  `id_produto` int(11) DEFAULT NULL,
  `dt_emissao` date DEFAULT NULL,
  PRIMARY KEY (`id_entrada`),
  KEY `fk_tab_produto_idx` (`id_produto`),
  CONSTRAINT `fk_produto` FOREIGN KEY (`id_produto`) REFERENCES `tab_produto` (`id_produto`) ON DELETE NO ACTION ON UPDATE NO ACTION
) ENGINE=InnoDB AUTO_INCREMENT=2 DEFAULT CHARSET=utf8;  

Bom o importante até aqui é o UNIQUE no campo serial, isso vai garantir que não terá produtos duplicados. A questão do relacionamento acho que não é necessário explicar porque acredita-se que você já tem o entendimento do porque é necessário.

Agora a forma de como fazer os inserts veja como é simples:

insert ignore tab_produto (serial) values(123);

insert into tab_entrada (id_produto,dt_emissao) values ( (select id_produto from tab_produto where serial=123), curdate() );

Supondo que você queria inserir o serial 123, primeiro você faz o INSERT IGNORE caso já exista ele simplesmente vai ignorar ou seja não vai gerar erro, e não vai duplicar porque o campo é UNIQUE.

Depois vem o insert na tab_entrada (o mesmo seria para a tab_saida) faz o INSERT já consultando o mesmo serial que foi passado no primeiro insert, a sacada aqui é que você faz INSERT com SELECT de uma só vez

Vou deixar um SQLFiddle, note que até "forço" um insert duplicado na tab_produto para o teste ficar próximo do que pode acontecer no seu ambiente, e na sequencia lancei 2 registros na tab_entrada só para demonstração mesmo.


Há de se pensar em uma solução onde o cliente faz apenas 1 insert na tab_entrada (ou saida) e com uma trigger no before você faria o insert na tab_produto.

Isso ganha tempo em relação ao cliente->mysql, mas creio que o custo para o BD. seria o mesmo.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .