Estou construindo um aplicativo que irá receber dados de diversos ERP's diferentes todos os dias.
Mas estou com o seguinte problema, no dia seguinte o ERP pode me mandar os mesmos dados que tiveram ou não alterações + alguns dados novos. E eu preciso inserir estes novos dados e atualizar os demais caso haja alguma mudança, e excluir os dados antigos que não serão mais utilizados.
São cerca de 15 mil registros por dia de cada empresa, e pretendo que este aplicativo seja usado por +- umas 200 empresas em media.
Pensando nisso, quando receber essas informações diariamente é melhor eu ir verificando uma a uma para ver se teve alguma alteração e caso sim atualiza-las( select + update ).
Ou todo dia eu deleto todas as informações e insiro novamente ( delete + insert ).
Qual a maneira mais rapida de tratar grandes informações todos os dias? Caso alguém tenha alguma experiencia semelhante e saiba de uma solução diferente, também estou interessado.
Obrigado!
INSERT ... ON DUPLICATE KEY UPDATE
que faz esse trabalho por si.