6

Estive fazendo uma importação de dados para um projeto em ASP.NET MVC 5 com EF 6.1 e SQL Server 2008 onde a fonte de dados da importação era um arquivo txt.

As linhas de registro do arquivo não eram muito grandes mas contiam uma certa quantidade de informações para processar. Como por exemplo, na linha de registro havia os dados de um funcionário, um cargo na empresa, bairro, cidade etc. Tudo se tornando uma tabela em meu modelo.

Logo, linha por linha eu verificava a existência de cada bairro, cidade, cargo e todos os outros dados para obter a identificação dos que já estavam cadastrados ou então gravar os não existentes ainda.

Mais tarde optei por armazenar em cache. Simplesmente carreguei os dados em listas genéricas para a memória e antes de ir no banco de dados eu verificada essas informações na memória.

As outras informações não geravam um número grande de dados, porém o cadastro de funcionários sim. Eram mais de 27 mil registros.

Enfim, minha questão é sobre um problema de desempenho que tive ao fazer a importação utilizando o EF. Após os primeiros mil registros (um pouco mais) o desempenho da importação caia muito, cadastrando um funcionário a cada 1 ou 2 segundos.

Até que percebi que ao cancelar o processo de importação e começar novamente os primeiros mil registros eram importados em um tempo bom, mas depois dos mil registros a coisa voltava a ir lentamente.

Resolvi destruindo o meu contexto a cada mil registros e criando novamente. Dai então a importação teve uma boa performance desde o início até o fim.

Gostaria de saber de vocês que já passaram por algo semelhante, porque isso ocorre? Pode ser alguma configuração do Entity Framework? O meu está sem configurações.

Segue o trecho de código da importação para quem quiser analisar:

private List<Domain.int> Matriculas;
private List<Domain.CentroCusto> CacheCentrosCusto;
private List<Domain.Local> CacheLocais;
private List<Domain.Profissao> CacheProfissoes;
private List<Domain.Cidade> CacheCidades;
private List<Domain.Bairro> CacheBairros;
//Funcionarios
public ActionResult Funcionarios(string filePath)
{
    var fileInfo = new FileInfo(filePath);
    if (!file.Exists)
        throw new Exception("Arquivo não encontrado");

    Matriculas = contexto.Funcionarios
        .Select(x => x.Matricula)
        .ToList();

    CacheCentrosCusto = contexto.CentrosCusto.ToList();
    CacheLocais = contexto.Locais.ToList();
    CacheProfissoes = contexto.Profissoes.ToList();
    CacheCidades = contexto.Cidades.ToList();
    CacheBairros = contexto.Bairros.ToList();

    var file = new System.IO.StreamReader(filePath);
    try
    {
        var count = 0;
        string line = "";
        while ((line = file.ReadLine()) != null)
        {
            string[] campos = line.Split(';');

            int matricula;
            if (int.TryParse(campos[0].Trim(), out matricula))
            {
                if (Matriculas.Contains(matricula))
                    continue;
            }

            var funcionario = new Domain.Funcionario();

            funcionario.Matricula = matricula;
            // obtendo outros dados ...

            funcionario.CentroCustoId = GetCentroCustoId(campos[34].Trim());
            funcionario.LocalId = GetLocalId(campos[35].Trim());
            funcionario.ProfissaoId = GetProfissaoId(campos[36].Trim());

            //Cidade e Bairro
            funcionario.BairroId = null;

            var bai_desc = campos[11].Trim();
            if (!string.IsNullOrEmpty(bai_desc))
            {
                var cid_uf = "";
                var cid_desc = campos[12].Trim();

                // trabalho a string ...

                var cidade = new Domain.Cidade();
                cidade.Nome = cid_desc;
                cidade.Uf = cid_uf;

                var bairro = new Domain.Bairro();
                bairro.Nome = bai_desc;

                funcionario.BairroId = GetBairroId(bairro, cidade);
            }

            try
            {
                contexto.Funcionarios.Add(funcionario);
                contexto.SaveChanges();

                Matriculas.Add(matricula);

                count++;
                if (count == 1000)
                {
                    count = 0;
                    contexto.Dispose();
                    contexto = new DataAccess.Context();
                }
            }
            catch (DbEntityValidationException e) { ... }
            catch (Exception e) { ... }
        }
    }
    finally
    {
        file.Close();
    }

    return RedirectToAction("Index");
}

Meu contexto é criado no construtor da classe Controller e destruido no método Dispose.
Notem que há um contador e a cada mil registros eu destruo e crio novamente o meu contexto.

Um exemplo para os outros métodos presentes:
OBS: Todos os outros métodos contidos no código da importação possuem a mesma estrutura que este.

private int? GetProfissaoId(string descricao)
{
    int? profissao_id = null;
    if (!string.IsNullOrEmpty(descricao))
    {
        var profissaoTemp = CacheProfissoes
            .SingleOrDefault(x => x.Descricao.ToLower().Trim() == descricao.ToLower().Trim());

        if (profissaoTemp == null)
        {
            try
            {
                contexto.Profissoes.Add(profissao);
                contexto.SaveChanges();

                CacheProfissoes.Add(profissao);

                profissao_id = profissao.Id;
            }
            catch (DbEntityValidationException e) { ... }
            catch (Exception e) { ... }

            profissao_id = profissao.Id;
        }
        else
        {
            profissao_id = profissaoTemp.Id;
        }

    }
    return profissao_id;
}
2
  • Você poderia colocar um trecho desse código? como faz o SaveChanges?
    – user6026
    Commented 20/06/2014 às 1:20
  • Eu tenho algumas coisas que eu nesse pequeno código mudaria! o duro é testar
    – user6026
    Commented 20/06/2014 às 13:22

1 Resposta 1

5

Este problema de performance é bem conhecido. Ao adicionar os objetos um por um, você força o Entity Framework a verificar os estados de todos os objetos anexados ao contexto, o que é péssimo para a performance.

Há algumas maneiras de resolver. Vou apresentá-las e você escolhe qual a melhor para o seu caso:

1. Desligar o AutoDetectChangesEnabled

Simplesmente faça o seguinte:

context.Configuration.AutoDetectChangesEnabled = false;

Isto deve acabar com a verificação dos dados entre todas as entidades anexadas ao contexto.

2. Diminua o batch para 100 registros

Lembre-se de que você está inserindo não apenas funcionários, mas cidades e bairros, o que torna a unidade de trabalho tendo até 3000 registros. Deixe o número de registros por batch mais curto e realize o SaveChanges() antes de fazer o Dispose(), apenas para garantir que nada será perdido:

if (count == 100)
{
    count = 0;
    contexto.SaveChanges();
    contexto.Dispose();
    contexto = new DataAccess.Context();
}

3. Use as Caches em separado; AddRange() a cada batch

Crie listas em separado para suas caches, insira nelas normalmente, e ao término de cada batch insira todos os elementos de uma vez:

context.Funcionarios.AddRange(CacheFuncionarios);
context.Cidades.AddRange(CacheCidades);
...
context.SaveChanges();

Você pode, inclusive, usar todas as alternativas apresentadas ao mesmo tempo, mas recomendo ir implementando uma por uma e verificando a performance. Cada caso pode fazer o código se comportar bem diferente de um para o outro.

Veja mais em http://weblog.west-wind.com/posts/2013/Dec/22/Entity-Framework-and-slow-bulk-INSERTs


UPDATE

É necessária uma atualização desta resposta porque novas alternativas apareceram para resolver o problema de bulk insert usando Entity Framework.

Uma delas é o EntityFramework.BulkInsert (que tem um pacote separado para a versão 5 e outro para a versão 4). Há outras versões para outros bancos de dados, como o Microsoft SQL Server Compact Edition.

A primeira parte resposta ainda é útil para outros tipos de melhora de performance, mas já não tão útil para o caso de bulk insert.

0

Você deve fazer log-in para responder a esta pergunta.