7

Preciso carregar um único arquivo XML grande (40GB+) numa tabela do SQL Server 2012 usando SSIS. Estou tendo problemas porque o SSIS parece estar tentando carregar o arquivo XML inteiro na memória antes de carregar registros no banco, ao invés de ler e carregar partes do arquivo e liberar a memória.

No momento, o que tenho é uma tarefa com um XML Source, com as seguintes propriedades:

  • Data access mode: XML file from variable (mas poderia ter configurado como XML File Location)
  • Variable name: nome da variável que especifica o nome do arquivo XML
  • XSD location: o caminho para o arquivo XSD de validação do arquivo XML.

A estrutura do meu arquivo XML é simples. Tem apenas os 3 níveis hierárquicos, a seguir:

  1. Elemento raiz, com informações do cabeçalho do arquivo (quem enviou o arquivo, data etc.)
  2. O nível seguinte define coleções de objetos.
  3. O último nível tem os objetos individualmente, com um conjunto fixo de campos.

Preciso inserir um registro por objeto no último nível do XML, replicando os valores dos elementos acima na hierarquia. Ou seja, estou tornando a hierarquia do XML num arquivo plano.

Minha pergunta é: Como faço para carregar esse arquivo com o SSIS, sem que ele tente carregar todo o arquivo em memória?

4
  • Como está a estrutura do pacote SSIS? Você está utilizando ferramentas de conversão/transformação dos dados do XML?
    – ricidleiv
    13/12/2013 às 10:25
  • @RicidleivTondatto a estrutura é a mais simples possível. Tenho um Data Flow Task que por sua vez tem um XML Source ligado a um OLE DB Destination. Ia incluir uma cópia de tela mas não consegui. Fica só na descrição mesmo...
    – Ricardo
    13/12/2013 às 10:47
  • Você está utilizando OLEDB ou ADO.NET no Source?
    – ricidleiv
    13/12/2013 às 12:08
  • @RicidleivTondatto - Pelo que entendo, o XML Source não tem nada a ver com banco de dados e sim com arquivos XML, portanto o source não usa nem OLEDB nem ADO.NET. Ou o ADO.NET trata de arquivos XML também? Já no destino estou usando OLEDB.
    – Ricardo
    13/12/2013 às 13:01

1 Resposta 1

2

O XML Source não lê o documento inteiro e sim um elemento da hierarquia descrita no XSD.
Assegure-se de que o documento contém um único elemento root, conforme documentação em XML Source - at MSDN
Faça um teste com uma parte menor de amostra do documento.

Segue um passo-a-passo onde um documento XML contendo todos os artigos da Wikipedia EN foi importado para um banco de dados SQL Server utilizando o Integration Services. Trata-se de um banco de 20GB na época.

1
  • De acordo com essa resposta (stackoverflow.com/a/20552229/2839597), o XML Source lê o documento inteiro. Temos, sim, vários outros arquivos menores que seguem o mesmo XSD (cerca de 100) e esses são carregados sem problemas pelo nosso pacote SSIS. Obrigado pelo link da importação da Wikipedia EN. Vou estudá-lo agora.
    – Ricardo
    13/12/2013 às 13:04

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .