1

Tenho uma base de dados muito grande a qual tenho que copiar uma informação. Para diminuir o uso de memória pensei em fazer a inserção da informação em partes, utilizando um CURSOR e paginando os dados, realizando assim a inserção.

Porém para fazer isso eu necessitaria de um COMMIT após a inserção, que a ainda seria dentro do do CURSOR. Como posso realizar isso? Existe alguma forma de diminuir o custo de memória dessa operação sem precisar dessa solução?


Edit:

A tabela que eu tenho é de LOG de movimentação com um BLOB com a mensagem (que é um XML comprimido). A estrutura é similar a seguinte:

identificador     INTEGER  -- Agrupador
identificador_log INTEGER  -- Identificador único (Não segue uma sequência)
processamento     DATETIME -- A data em que o log foi gravado
mensagem          BLOB     -- XML comprimido com todas as informações da mensagem

A solução próxima ao que eu gostaria que eu cheguei foi a seguinte:

DECLARE
  dias INTEGER;
  indice INTEGER;
BEGIN
  -- Diferença de dias entre as datas de logs
  SELECT TRUNC(MAX(l.processamento)) - TRUNC(MIN(l.processamento)) INTO dias
   FROM LOG l
  ORDER BY l.processamento;

 FOR indice IN REVERSE 1 .. dias LOOP
    INSERT INTO TEMP_LOG(
      identificador,
      identificador_log,
      processamento,
      mensagem
    )
    SELECT tl.identificador,
           tl.identificador_log,
           tl.processamento,
           l.mensagem           
      FROM (
       SELECT l.identificador,
              MAX(l.processamento) AS processamento,
              MAX(l.identificador_log) KEEP (DENSE_RANK FIRST ORDER BY l.processamento DESC) AS identificador_log
         FROM LOG l
        GROUP BY l.identificador
      ) tl
     INNER JOIN LOG l
        ON tl.identificador     = l.identificador
       AND tl.identificador_log = l.identificador_log
       AND tl.processamento     = l.processamento    
    WHERE TRUNC(l.processamento) = TRUNC(sysdate - indice);

    COMMIT;

  END LOOP;
END;
/

A questão é que tenho muitas movimentações e muitos arquivos no BLOB portanto não posso fazer essa cópia de uma vez só, senão o uso de memória vai ser exorbitante e é esse problema que eu quero resolver: Realizar a cópia sem consumir recursos de forma que possa ativar algum alerta de uso.

5
  • podes usar tranquilamente um commit dentro de um cursor, desde que não seja na tabela usada pelo cursor, que não é o seu caso, mas o seu problema maior é performance, certo? podes usar um bulk collect para melhorar a performance, já tentou essa ideia? 6/02/2019 às 18:34
  • @RicardoPontual não tentei. Consegue me dar uma luz nisso?
    – Sorack
    6/02/2019 às 18:34
  • sim, seria algo mais ou menos assim: OPEN seu_cursor; LOOP FETCH seu_cursor BULK COLLECT INTO table_para_inserir END LOOP;, onde os campos o cursor devem ser os mesmos do "table_para_inserir", ou seu type 6/02/2019 às 18:38
  • se tiver mais dados podemos fazer um exemplo mais funcional, mas acredito que vendo esse link já vai entender a ideia: oracle bulk collect 6/02/2019 às 18:39
  • @RicardoPontual adicionei mais informações
    – Sorack
    7/02/2019 às 10:30

2 Respostas 2

1

Utilizando o conceito de coleções é possível abrir o cursor e limitar a quantidade de registros do Fetch se o mesmo for utilizado dentro de um loop, assim é possível fazer o commit com um quantidade máxima de registros para cada operação. Utilizando seu exemplo e fazendo o commit de 100 em 100 registros ficaria mais ou menos assim:

DECLARE
  cursor c_Log(pIndice integer) is
    SELECT tl.identificador,
           tl.identificador_log,
           tl.processamento,
           l.mensagem
      FROM (SELECT l.identificador,
                   MAX(l.processamento) AS processamento,
                   MAX(l.identificador_log) KEEP(DENSE_RANK FIRST ORDER BY l.processamento DESC) AS identificador_log
              FROM LOG l
             GROUP BY l.identificador) tl
     INNER JOIN LOG l
        ON tl.identificador = l.identificador
       AND tl.identificador_log = l.identificador_log
       AND tl.processamento = l.processamento
     WHERE TRUNC(l.processamento) = TRUNC(sysdate - pIndice);

  type TLog is table of c_Log%rowType;
  vLog TLog;

  dias   INTEGER;
  indice INTEGER;
BEGIN
  -- Diferença de dias entre as datas de logs
  SELECT TRUNC(MAX(l.processamento)) - TRUNC(MIN(l.processamento))
    INTO dias
    FROM LOG l
   ORDER BY l.processamento;

  FOR indice IN REVERSE 1 .. dias LOOP
    open c_Log(indice);
    loop
      FETCH c_Log BULK COLLECT
        INTO vLog LIMIT 100;

      forall i in vLog.First .. vLog.last
        INSERT INTO TEMP_LOG
          (identificador, identificador_log, processamento, mensagem)
        values
          (vLog(i).identificador,
           vLog(i).identificador_log,
           vLog(i).processamento,
           vLog(i).mensagem);

      COMMIT;
      EXIT WHEN c_Log%NOTFOUND;
    end loop;
    close c_Log;
  END LOOP;
END;
0

Os dados que você precisa copiar podem ser agrupados por algum atributo. Ex: Alguma data?

Caso seja possível você poderia realizar as inserções agrupando os dados por mês ou ano.

INSERT INTO table
(column1, column2, ... column_n )
SELECT expression1, expression2, ... expression_n
FROM source_table
[WHERE YEAR(Data) = 2017];

INSERT INTO table
(column1, column2, ... column_n )
SELECT expression1, expression2, ... expression_n
FROM source_table
[WHERE YEAR(Data) = 2018];
1
  • Não resolve o problema, assim eu vou ter que ficar executando na mão. O problema não é agrupar. Agrupar na query eu sei. O problema é executar em partes sem precisar da minha intervenção a cada passo
    – Sorack
    6/02/2019 às 18:27

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .