3

Estou construindo um aplicativo que irá receber dados de diversos ERP's diferentes todos os dias.

Mas estou com o seguinte problema, no dia seguinte o ERP pode me mandar os mesmos dados que tiveram ou não alterações + alguns dados novos. E eu preciso inserir estes novos dados e atualizar os demais caso haja alguma mudança, e excluir os dados antigos que não serão mais utilizados.

São cerca de 15 mil registros por dia de cada empresa, e pretendo que este aplicativo seja usado por +- umas 200 empresas em media.

Pensando nisso, quando receber essas informações diariamente é melhor eu ir verificando uma a uma para ver se teve alguma alteração e caso sim atualiza-las( select + update ).

Ou todo dia eu deleto todas as informações e insiro novamente ( delete + insert ).

Qual a maneira mais rapida de tratar grandes informações todos os dias? Caso alguém tenha alguma experiencia semelhante e saiba de uma solução diferente, também estou interessado.

Obrigado!

5
  • Acho que o mais adequado é implementar as duas alternativas e testar o desempenho. Pode ser que uma solução seja mais adequada em uma situação mas não em outra. Commented 14/10/2017 às 9:06
  • Estes +- 15mil registros são todos recebidos em um determinado momento ou isso ocorrerá ao longo do dia? Durante a atualização o sistema ficará acessível? A atualização poderá ser realizada fora do horário de expediente? Na minha vivência os 15mil registros não são um problema a ser considerado, mas o tamanho da base de dados que você atualizará e sua expectativa de crescimento desta base sim! Acho que você poderia explicar mais detalhadamente o contexto do seu problema para que seja possível oferecer uma resposta/sugestão. Commented 14/10/2017 às 10:04
  • Em vez de fazer um select para depois um update, usar o método ON DUPLICATE KEY UPDATE não seria melhor?? Acho que deveria fazer um teste de desempenho antes, mas creio que ganharia mais velocidade sem precisar fazer o select. Pois desse modo ele tentaria inserir sempre novos registros, e iria atualizar somente aqueles que ja existir no banco de dados. Da uma olhada: dev.mysql.com/doc/refman/5.7/en/insert-on-duplicate.html Commented 14/10/2017 às 11:59
  • Também estou fazendo uma sistema assim e gostaria de saber qual é o mais eficiente para amanha não ter problemas, já vi que o delete pode ter um alto custo para tabelas indexadas, estava pensando em colocar um flag N/C Registro Normal e Cancelado e dar update na tabela toda ao invés de excluir, mas aí caio em outras duas questões, será que o Update é mais rápido, e o inchaço nas tabelas, por manter registros sem uso, não afetara o select? Pensei nessa solução levando em conta que existem tabelas com milhões de registros e a performance é boa.
    – user37466
    Commented 6/08/2018 às 16:44
  • Use o INSERT ... ON DUPLICATE KEY UPDATE que faz esse trabalho por si.
    – Jorge B.
    Commented 31/10/2019 às 16:14

2 Respostas 2

1

Meu caro, tenho algumas observações para você:

  1. Não recomento excluir os dados, pois, se algum dia houver falha ou atraso no envio dos dados pela empresa, você ficará com uma janela de dados indisponíveis ou inconsistentes com as informações do dia anterior.
  2. Acho que você precisa especificar melhor como você sabe que os novos dados que chegam são novos ou repetidos. Ou seja, qual o identificador do dado. Ex: id_empresa + id_tipo_informacao + data_informacao.
  3. Após responder à pergunta anterior, você pode fazer UM TESTE e mudar a chave primária da tabela para uma chave composta usando a combinação de campos que resulte em uma combinação única e utilizar o comando REPLACE do MySQL, que irá fazer essa tarefa de INSERT ou UPDATE automaticamente pra você.
3
  • Isto não fornece uma resposta à pergunta. Para criticar ou solicitar esclarecimento de um autor, deixe um comentário abaixo da publicação dele. - Da Revisão Commented 31/10/2019 às 16:22
  • Obrigado pelo feedback. O que devo fazer nesse momento então? Posso excluir minha resposta? Commented 31/10/2019 às 16:41
  • Márcio tudo bem? Não é necessário remover sua resposta. Esse foi um posicionamento meu da revisão, mas outros usuários também irão analisar sua resposta. Se for satisfatória, ela permanecerá, se não for, ela será automaticamente removida. Commented 31/10/2019 às 16:59
-2

Este é um procedimento muito comum utilizado por escritórios de cobrança, para transmissão de grandes listas de clientes. Chamamos isto de "Carga".

Diariamente dois sistemas diferentes podem se conversar enviando e recebendo estes dados pois um deles está executando uma tentativa de sincronia com o banco de dados de origem. O processo consiste da seguinte forma:

O banco de dados que tenta fazer a sincronia, deve possuir duas tabelas idênticas no seu layout, uma para dados de entrada e outra para dados de histórico. Ambas devem possuir todos os campos necessários para as informações e mais dois campos de controle: O primeiro é o nome da origem dos dados, exemplo: "empresa_origem". O segundo campo é a data da entrada dos dados, exemplo: "data_entrada". O campo data irá funcionar como parâmetro de comparação entre os dados da tabela de histórico e os novos dados com dados.

A rotina que deve ser empregada é a inserção dos registros na tabela de entrada "tabela de histórico", para em seguida executar uma comparação com a tabela de histórico afim de separar o conteúdo novo. Desta forma será possível diferenciar os registros.

Os dados que forem localizados diferentes devem ser inseridos dentro da tabela de histórico e após o procedimento a tabela de entrada deve ser limpa para uma nova carga de dados.

Utilizando os campos "nome_empresa" e "data_entrada" é possível diferenciar os dados de todas as origens e assim obter maior integridade das informações que forem recebidas. Assim você obtém um relatório de "Carga" através das quantidades de registros que forem recebidas diariamente por cada origem e data.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .