8

Estou usando o Entity Framework para Fazer inserção e atualização de milhares de Registros.

De início ficou lento, mas após colocar o código abaixo melhorou a velocidade.

db.Configuration.AutoDetectChangesEnabled = false;  
db.Configuration.ValidateOnSaveEnabled = false;

Velocidade Resolvido.

Porém, eu não consigo chegar até o final pois, conforme vai inserindo, o modelo vai ficando grande e aumentando o consumo de memória até me dar exceção ao chegar em 1,5GB de uso.

Obs.: Já tentei usar o AsNoTracking().

Também estou tentando recarregar o modelo de tempo em tempos, mas não abaixa o consumo. Somente aumenta.

Alguém passou por essa situação ou tem alguma ideia?

Parte do código:

foreach (var prd in produtoGradeAux)
{
    if (dbPdv.Database.Connection.State != ConnectionState.Open)
       dbPdv.Database.Connection.Open();

using (var transaction = dbPdv.Database.Connection.BeginTransaction(System.Data.IsolationLevel.ReadUncommitted))
{
    dbPdv.Database.UseTransaction(transaction);
    i++
    Produto prodAux = null;
    var pAux = dbPdv.produto_grade.AsNoTracking().FirstOrDefault(x => x.produto_GradeIdGw == prd.produto_gradeID);

    if (prd.cd_grade.Trim().Length > 6)
        pAux = dbPdv.produto_grade.AsNoTracking().FirstOrDefault(x => x.cd_grade.Trim() == prd.cd_grade.Trim());

    if (prd.cd_grade.Trim().Length > 6)
        prodAux = dbPdv.produto_grade.AsNoTracking().Where(x => x.Produto.cd_ref.Trim() == prd.cd_grade.Trim().Substring(0, 6)).Select(x => x.Produto).FirstOrDefault();

    int lnFamiliaId, lnGrupoId, lnUnidadeId, lnMarcaId, lnLinhaId;

    RetGrupos(prd, out lnFamiliaId, out lnGrupoId, out lnUnidadeId, out lnMarcaId, out lnLinhaId, dbPdv);

    if (pAux == null)
    {
        if (prodAux == null)
            prodAux = RetProduto(dbPdv, prd.Produto, lnFamiliaId, lnGrupoId, lnUnidadeId, lnMarcaId, lnLinhaId);
        pAux = RetProdutoGrade(dbPdv, prodAux, prd);
        SetProdutoEan(dbPdv, prd, pAux);
        SetProdutoCf(dbPdv, prd, pAux);
        SetProdutoEstoque(dbPdv, lojaAux, prd, pAux);
        SetProdutoPreco(dbPdv, prd, pAux);
    }
    else
    {
        AtuProdutoGrade(dbPdv, prd, pAux);
        AtuProduto(dbPdv, prd, pAux, lnFamiliaId, lnGrupoId, lnUnidadeId, lnMarcaId, lnLinhaId);
        AtuProdutoEan(dbPdv, prd, pAux);
        AtuProduto_Cf(dbPdv, prd, pAux);
        AtuProduto_Preco(dbPdv, prd, pAux);
        AtuProdutoEstoque(dbPdv, lojaAux, prd, pAux);
    }

    transaction.Commit();

    //Tentar Melhorar performance...
    if (i % 1000 == 0)
    {
        HabilitaDb(dbPdv);
        dbPdv.Dispose();
        dbPdv = GetDbPdv(pdvAux);
        DesabilitaDb(dbPdv);
    }
}  
}
6
  • Você fez o que deve fazer e não dá para ajudar muito mais sem saber como está seu código. Já pensou em fazer com SQL ao invés de EF? Ele não precisa ser usado para tudo. É possível que você esteja com vazamento de memória. Respondi sobre isto (caso específico) à pouco pt.stackoverflow.com/a/84277/101
    – Maniero
    Commented 4/09/2015 às 13:18
  • Opa.. Obrigado Pela Resposta.. Irei colocar Parte do Código na Pergunta
    – Pacheco
    Commented 4/09/2015 às 13:23
  • Cada entidade adicionada ao contexto continuará lá enquanto o contexto existir ou até que você limpe o contexto. O processamento sequencial de grande volume de entidades você deve fazer em lotes, por exemplo: a cada 100 entidades você persiste e as elimina do contexto.
    – Caffé
    Commented 4/09/2015 às 13:25
  • Opa Obrigado @Caffé .. To Fazendo de 1000 em 1000... tentei 500 também mas não vi muita diferença
    – Pacheco
    Commented 4/09/2015 às 13:26
  • 1
    À parte do seu código (que eu não gastei muito tempo tentando entender) vou dar uma sugestão de algoritmo: cria o contexto, depois de X entidades lidas, processadas e persistidas, envia as alterações para o banco, destrói o contexto e cria outro contexto para as próximas X entidades. Se quiser reutilizar o mesmo contexto você terá que desatachar cada entidade para que elas possam ser eliminadas da memória - não vejo necessidade; destruir contexto e criar outro novo está ok.
    – Caffé
    Commented 4/09/2015 às 13:39

2 Respostas 2

8

O Entity Framework não foi feito para inserir 1 milhão de registros... Ele tem um limite em Memoria interna...(index dele) AsNoTracking() não irá resolver... Já efetuei os testes mais complexos possíveis.

Para esse tipo de inserção parte para um ORM menor... com menos gerenciamento e detalhes... no caso um MicroORM, como por exemplo Dapper, PetaPoco, etc..

Caso não seja viavel, ultilize o Bulk Insert, que é uma implementação ADO.net para o entity framework. EntityFramework.BulkInsert

Na minha opinião, Recomendo utilizar nesses casos o ADO.net para esses processos que necessitam de performance em uma grande quantidade de transição de dados. Pegando dados de conexão do contexto do entity framework ou config. Pois você não fica limitado apenas no INSERT(bulkinsert), podendo efetuar outras operações. Uma opção empresarial, em um sistema grande, é partir para o NHibernate. Por experiencia pessoal e testes efetuados.


Caso for o Entity Framework Core, veja esse link

2
  • Obrigado @daniloloko.. Irei Avaliar essas outras alternativas..
    – Pacheco
    Commented 4/09/2015 às 14:03
  • 1
    Apos Trocar para o ADO.Net Resolveu.
    – Pacheco
    Commented 22/09/2015 às 20:49
5

Nesta resposta, explico várias alternativas que você pode usar para melhorar o desempenho, mas não creio que, mesmo usadas em conjunto, irão resolver seu problema completamente.

Há algumas coisas que me chamaram a atenção em seu código. Por exemplo:

if (dbPdv.Database.Connection.State != ConnectionState.Open)
   dbPdv.Database.Connection.Open();

Isto não é necessário. O próprio Entity Framework é responsável por controlar o ciclo de vida da conexão.

Isto:

using (var transaction = dbPdv.Database.Connection.BeginTransaction(System.Data.IsolationLevel.ReadUncommitted))
{
    dbPdv.Database.UseTransaction(transaction);
    ...

Também não está alinhado com as boas práticas do Entity Framework (suporte a transações distribuídas). O correto seria abrir um TransactionScope com opção de ReadUncommited no IsolationLevel:

using (var scope = new TransactionScope(TransactionScopeOption.Required,
            new TransactionOptions()
            {
                IsolationLevel = IsolationLevel.ReadUncommitted
            }))
{
    ...

Para o seu caso, a resposta do @Daniloloko é o caminho a seguir. O pacote NuGet do EntityFramework.BulkInsert está aqui.

5
  • Obrigado pela Dicas.. Irei Alterar , e conforme você falou darei uma Olhada no BulkInsert. Obs: Ele Somente Faz Insert ?Update não?
    – Pacheco
    Commented 4/09/2015 às 14:28
  • 1
    Sim, apenas insert. Commented 4/09/2015 às 14:30
  • Será Que somente No insert Resolverá minha Situação? Visto que Também Faço Updates.. Não inchará a Memoria?
    – Pacheco
    Commented 4/09/2015 às 14:42
  • 1
    Como você faz insert e update, o caminho é realizar o Dispose do contexto a cada 1000 ou 2000 registros. Commented 4/09/2015 às 14:44
  • Puxa, isso eu ja faço conforme pode vir acima.. Mesmo Assim Obrigado pela Suas respostas..
    – Pacheco
    Commented 4/09/2015 às 14:46

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .