Cirineu, pelo que você relata o problema é que, durante a execução do primeiro código T-SQL descrito, todo o espaço disponível no disco é utilizado, antes mesmo que a execução do código termine, abortando o processo de transferência de linhas entre as tabelas. E menciona como possível causa o crescimento do log de transações.
Pelo nome das colunas presentes em tblVMDcarga, bem como pelo nome da tabela, me parece que é uma tabela de carga (ETL) de uma tabela fato de data warehouse, provavelmente de contagem de tráfego do DNIT.
São necessárias informações adicionais para emitir opinião específica; como ainda não foram fornecidas, seguem observações gerais.
Modelos de recuperação
Conforme documentação do SQL Server, "modelos de recuperação são projetados para controlar a manutenção de log de transações".
Pela leitura da documentação percebe-se como a definição do modelo de recuperação impacta diretamente no volume de log gerado.
minimal logging
A respeito do log de transações, há uma abordagem que é denominada de minimal logging. Ela está descrita em alguns documentos do SQL Server, como:
Há alguns requisitos para obter sucesso nessa abordagem, que estão descritos nos documentos acima. Observe que a construção INSERT...SELECT também é considerada uma operação bulk import.
tempDB
É necessário ficar atento à configuração do banco de dados tempDB, para que este não se transforme em gargalo. Sugiro leitura do artigo How to Configure TempDB for Microsoft SQL Server
Execução em paralelo
Outro fator que deve ser analisado com atenção é como está configurado, na instância, a opção max degree of parallelism.
VLT (very large tables)
No caso de tabelas VLT, uma das opções utilizadas para transferir linhas de uma tabela para outra é realizar a cópia em blocos. Isto é, transfere-se um pedaço de cada vez. A definição do conteúdo/tamanho de cada bloco depende do contexto.
Para utilizar a transferência por blocos de forma eficiente é necessário que na tabela de origem exista identificação única (unique key) que permita identificar o que já foi transferido. No caso de tabelas fato, geralmente é utilizada surrogate key. Por questão de performance, é recomendado que exista índice pela identificação única, preferencialmente clustered.
Supondo que deseja-se transferir milhões de linhas da tabela stageDADOS para a tabela DADOS e que a chave primária da tabela stageDADOS seja a coluna idEvento. Pode-se implementar a transferência de blocos utilizando algo semelhante a
-- código #1
INSERT into DADOS (colunas)
SELECT colunas
from stageDADOS
where idEvento between ....
A cada execução do código acima, transfere-se um bloco de linhas. Deve-se manter controle de qual foi a última linha transferida em cada execução, para que a próxima execução seja da primeira linha ainda não transferida.
Ou seja, com a abordagem acima é possível transferir bloco a bloco e monitorar o crescimento do arquivo de log.
Segue exemplo com implementação dessa abordagem.
-- código #2
CREATE TABLE stageDADOS (
idEvento int identity primary key,
dataEvento date not null,
infoEvento varchar(200) not null
);
CREATE TABLE DADOS (
idEvento int not null,
dataEvento date not null,
infoEvento varchar(200) not null
);
go
Observa-se que a tabela DADOS é do tipo heap.
Para controle do que já foi transferido, é criada a tabela ControleTransf no banco de dados. Ela permitirá manter o controle do que já foi transferido, bem como emissão de estatísticas sobre o processo de transferência.
-- código #3
CREATE TABLE ControleTransf (
idBloco int identity,
inicioTransf smalldatetime not null,
fimTransf smalldatetime default cast(current_timestamp as smalldatetime),
nLinhas int,
chaveInicial int,
chaveFinal int
);
go
E, finalmente, o procedimento que efetua a transferência de um bloco de linhas.
-- código #4
CREATE PROCEDURE TransfBloco @tamBloco int as
begin
declare @ultimaChave int, @chaveInicial int, @chaveFinal int;
declare @inicioTransf smalldatetime, @nLinhas int;
-- procura última chave transferida
SELECT top (1) @ultimaChave= chaveFinal
from ControleTransf
order by idBloco desc;
set @ultimaChave= coalesce(@ultimaChave, 0);
-- define chaves inicial e final do bloco
set @chaveInicial= @ultimaChave + 1;
set @chaveFinal= @ultimaChave + @tamBloco;
--
set @inicioTransf= cast(current_timestamp as smalldatetime);
--
BEGIN TRANSACTION;
BEGIN TRY
-- transfere bloco
INSERT into DADOS with (TABLOCK) (idEvento, dataEvento, infoEvento)
SELECT idEvento, dataEvento, infoEvento
from stageDADOS
where idEvento >= @chaveInicial
and idEvento <= @chaveFinal;
--
set @nLinhas= @@rowcount;
-- registra bloco transferido
IF @nLinhas > 0
begin
INSERT into ControleTransf (chaveInicial, chaveFinal, inicioTransf, nLinhas)
values (@chaveInicial, @chaveFinal, @inicioTransf, @nLinhas);
SELECT 'Transferidas ' + cast(@nLinhas as varchar(15)) + ' linhas.' as Status;
end
else
SELECT 'Nenhuma linha transferida.' as Status;
-- encerra transação explícita
COMMIT;
END TRY
BEGIN CATCH;
SELECT 'erro na transferência' as Status;
ROLLBACK TRANSACTION;
END CATCH;
end;
go
A execução é simples. Considera-se que o modelo de recuperação do banco de dados está como bulk-logged. Para transferir 100 milhões de linhas, basta chamar o procedimento TransfBloco, passando como parâmetro o número de linhas.
-- código #5 v2
-- transfere um bloco de linhas
EXECUTE dbo.TransfBloco 100000000
-- monitora ocupação de espaço físico
EXECUTE sp_spaceused 'DADOS';
DBCC SQLPERF (logspace);
go
Sugiro que inicie por bloco de tamanho menor (10 milhões de linhas, por exemplo). Terá então informações sobre performance, tempo e alocação de espaço físico para esse tamanho de bloco, podendo então definir qual será o tamanho de bloco ideal para cada execução.
A abordagem acima pode ser modificada para caso a coluna de chave primária seja, por exemplo, do tipo uniqueidentifier.
RBAR
RBAR é a abreviatura da expressão Row-By-Agonizing-Row, cunhada por Jeff Moden para códigos que processam uma linha de cada vez. Sempre que possível devemos construir códigos que manipulem conjunto de linhas (set-based), que é de processamento mais eficiente no SQL Server. Entretanto, há (poucas) situações em que o uso de cursor é mais eficiente do que o uso de construções set-based.
No segundo código fornecido, com o uso de cursor, percebe-se a presença de uma abordagem RBAR. E, nesse caso, me parece extremamente ineficiente. Além de transferir linha a linha, da tabela de origem para a tabela de destino, ainda há o agravante de que o conteúdo da tabela de origem também é apagado linha a linha. Ou seja, pode aumentar mais rapidamente o arquivo de log (vide modelos de recuperação).
Otimização do código com cursor
(1) Em termos de arquivo de log, considero mais eficiente apagar manualmente a tabela de origem ao final (quando a transferência for considerada correta), seja através de comando DROP TABLE (caso a tabela de origem não seja mais necessária) ou de comando TRUNCATE TABLE.
O fato de ir apagando linha a linha na tabela de origem não significa que o espaço físico será liberado imediatamente pelo sgbd.
Mas, caso julgue necessário apagar linha a linha, observe que pode-se apagar a linha corrente do cursor sem necessidade de que a instrução DELETE realize nova pesquisa (o que demanda mais tempo de processamento). Basta utilizar CURRENT OF:
-- código #6
DELETE [bd_contagem].[dbo].[tblVMDcargaLote4]
where current of crLerLote4;
(2) Ao declarar um cursor há opções que, teoricamente, podem otimizar a execução do mesmo. Leitura atenta da documentação pode indicar possíveis opções a utilizar.