Preciso carregar um único arquivo XML grande (40GB+) numa tabela do SQL Server 2012 usando SSIS. Estou tendo problemas porque o SSIS parece estar tentando carregar o arquivo XML inteiro na memória antes de carregar registros no banco, ao invés de ler e carregar partes do arquivo e liberar a memória.
No momento, o que tenho é uma tarefa com um XML Source, com as seguintes propriedades:
- Data access mode: XML file from variable (mas poderia ter configurado como XML File Location)
- Variable name: nome da variável que especifica o nome do arquivo XML
- XSD location: o caminho para o arquivo XSD de validação do arquivo XML.
A estrutura do meu arquivo XML é simples. Tem apenas os 3 níveis hierárquicos, a seguir:
- Elemento raiz, com informações do cabeçalho do arquivo (quem enviou o arquivo, data etc.)
- O nível seguinte define coleções de objetos.
- O último nível tem os objetos individualmente, com um conjunto fixo de campos.
Preciso inserir um registro por objeto no último nível do XML, replicando os valores dos elementos acima na hierarquia. Ou seja, estou tornando a hierarquia do XML num arquivo plano.
Minha pergunta é: Como faço para carregar esse arquivo com o SSIS, sem que ele tente carregar todo o arquivo em memória?
OLEDB
ouADO.NET
no Source?XML Source
não tem nada a ver com banco de dados e sim com arquivos XML, portanto o source não usa nemOLEDB
nemADO.NET
. Ou oADO.NET
trata de arquivos XML também? Já no destino estou usandoOLEDB
.