Tenho um processo que preciso implementar em meu sistema que, em determinado momento, irá verificar um número relativamente grande de dados e, caso não encontre, deverá guardar no banco MySQL. Isso deve ser feito registro a registro.
Não estou encontrando uma forma de fazer isso sem que sobrecarregue o servidor. Estou desenvolvendo em PHP e até o momento a única maneira que pensei foi fazer um loop lendo cada "linha", verificando se existe, caso não exista, gravo, recupero o ID e gravo em outra tabela. Caso já exista, apenas recupero o ID e salvo em outra tabela.
Dessa forma teria que fazer 1 consulta + 1 gravação + 1 leitura (recuperar o ID recém salvo) + 1 gravação para cada registro. Se pensarmos que será comum cada operação fazer isso em média 3000 vezes, torna-se inviável. Além disso será comum também ter mais de um usuário fazendo este mesmo processo ao mesmo tempo.
Qual seria a forma mais correta de proceder neste caso?
[Informações adicionais]
É um sistema de movimentação de produtos. Cada produto tem um "serial". Então preciso verificar cada serial na tabela "A" e caso não exista, realizo o cadastro, pego o ID e lanço na tabela "B". Caso o serial já esteja cadastrado na tabela "A", apenas lanço o serial dele na tabela "B".