3

Tenho aqui um "pequeno" problema com um DataTable.

A partir de uma consulta SQL estou a obter uma quantidade enorme de registos (> 1.000.000), e apesar da consulta ser relativamente rápida, o carregamento do DataTable a partir do Fill() é extremamente lento e, em alguns casos, gera um erro de System.OutOfMemoryException porque o processo onde está a ser executado o código excede os 4Gb (compilação obrigatória em x86).

A minha questão é se existe alguma forma de reduzir o tempo de carregamento do DataTable e, ao mesmo tempo, evitar que a memória exceda o limite.

De salientar que essa informação será utilizada posteriormente para serialização em XML.

7
  • 1
    Não usar DataTabel? :) Sério. Foram criadas outras tecnologias porque esta era problemática.
    – Maniero
    Commented 31/08/2018 às 13:38
  • Pois, se efetivamente não houver outra hipótese talvez tenhamos que mudar! Será que utilizando um DataReader e ir preenchendo os objetos, um a um, será mais rápido? Ou utilizando um IEnumerable<T>? Commented 31/08/2018 às 13:41
  • 3
    Bem mais rápido. Fazendo na mão ou usando o Dapper serão as opções mais rápidas. Até o Entity Framework será bem melhor na maioria das vezes, especialmente o Core, ainda que um pouco mais complexo.
    – Maniero
    Commented 31/08/2018 às 13:44
  • 1
    pense também na paginação, afinal se só os dados já pesam bastante, imagina um XML com mais de 1kk de registros... Commented 31/08/2018 às 14:08
  • 1
    complicado... mas então pensaria em usar um datareader para ir lendo e escrevendo, sem armazenar tudo em memória Commented 31/08/2018 às 14:16

1 Resposta 1

4

O DataTable foi uma ideia interessante, porém muito mal implementada, ela realmente carrega demais a memória.

Daí surgiu a necessidade de fazer um ORM de verdade e a Microsoft fez o Entity Framework que é pesado, chato de usar no começo, é lento, mas funciona muito melhor. E o EF Core nem é tão ruim assim. Eu não sou fã dele por várias razões, mas é uma evolução.

Curiosamente logo no começo já tinha uma tecnologia melhor pra grande parte dos casos que é o DataReader, se só precisa ler dados, se não precisa estar online com o banco de dados ela é uma solução mais correta sempre. Na verdade mesmo que precise escrever e estar online o DataTable só é viável para coisas simples, e só porque o problema não é muito perceptível, não porque é bom.

O acesso direto ao provedor do banco de dados ou usar um ORM simples como o Dapper são as opções mais rápidas que pode obter. O primeiro não tem camada extra, ele só te dá o acesso e você faz todo acesso na mão. Dá menos trabalho que imagina na maioria dos casos, ainda que tenha que cuida de certas coisas. O Dapper gera os objetos para você e consegue uma incrível performance mesmo assim e entrega mais pronto, oque pode se bem útil, especialmente se vai serializar.

2
  • +1 por citar Dapper, apesar de muitos "preguiçosos" dizerem que ele é muito verboso por escrever Sql no código nem ligam pela sua performasse que ele traz.
    – Marconi
    Commented 5/09/2018 às 15:29
  • 1
    Eu acho o EF verboso :D Sabendo criar as abstrações certas o código fica muito menor c/ Dapper :D
    – Maniero
    Commented 5/09/2018 às 15:30

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .