Estive fazendo uma importação de dados para um projeto em ASP.NET MVC 5 com EF 6.1 e SQL Server 2008 onde a fonte de dados da importação era um arquivo txt.
As linhas de registro do arquivo não eram muito grandes mas contiam uma certa quantidade de informações para processar. Como por exemplo, na linha de registro havia os dados de um funcionário, um cargo na empresa, bairro, cidade etc. Tudo se tornando uma tabela em meu modelo.
Logo, linha por linha eu verificava a existência de cada bairro, cidade, cargo e todos os outros dados para obter a identificação dos que já estavam cadastrados ou então gravar os não existentes ainda.
Mais tarde optei por armazenar em cache. Simplesmente carreguei os dados em listas genéricas para a memória e antes de ir no banco de dados eu verificada essas informações na memória.
As outras informações não geravam um número grande de dados, porém o cadastro de funcionários sim. Eram mais de 27 mil registros.
Enfim, minha questão é sobre um problema de desempenho que tive ao fazer a importação utilizando o EF. Após os primeiros mil registros (um pouco mais) o desempenho da importação caia muito, cadastrando um funcionário a cada 1 ou 2 segundos.
Até que percebi que ao cancelar o processo de importação e começar novamente os primeiros mil registros eram importados em um tempo bom, mas depois dos mil registros a coisa voltava a ir lentamente.
Resolvi destruindo o meu contexto a cada mil registros e criando novamente. Dai então a importação teve uma boa performance desde o início até o fim.
Gostaria de saber de vocês que já passaram por algo semelhante, porque isso ocorre? Pode ser alguma configuração do Entity Framework? O meu está sem configurações.
Segue o trecho de código da importação para quem quiser analisar:
private List<Domain.int> Matriculas;
private List<Domain.CentroCusto> CacheCentrosCusto;
private List<Domain.Local> CacheLocais;
private List<Domain.Profissao> CacheProfissoes;
private List<Domain.Cidade> CacheCidades;
private List<Domain.Bairro> CacheBairros;
//Funcionarios
public ActionResult Funcionarios(string filePath)
{
var fileInfo = new FileInfo(filePath);
if (!file.Exists)
throw new Exception("Arquivo não encontrado");
Matriculas = contexto.Funcionarios
.Select(x => x.Matricula)
.ToList();
CacheCentrosCusto = contexto.CentrosCusto.ToList();
CacheLocais = contexto.Locais.ToList();
CacheProfissoes = contexto.Profissoes.ToList();
CacheCidades = contexto.Cidades.ToList();
CacheBairros = contexto.Bairros.ToList();
var file = new System.IO.StreamReader(filePath);
try
{
var count = 0;
string line = "";
while ((line = file.ReadLine()) != null)
{
string[] campos = line.Split(';');
int matricula;
if (int.TryParse(campos[0].Trim(), out matricula))
{
if (Matriculas.Contains(matricula))
continue;
}
var funcionario = new Domain.Funcionario();
funcionario.Matricula = matricula;
// obtendo outros dados ...
funcionario.CentroCustoId = GetCentroCustoId(campos[34].Trim());
funcionario.LocalId = GetLocalId(campos[35].Trim());
funcionario.ProfissaoId = GetProfissaoId(campos[36].Trim());
//Cidade e Bairro
funcionario.BairroId = null;
var bai_desc = campos[11].Trim();
if (!string.IsNullOrEmpty(bai_desc))
{
var cid_uf = "";
var cid_desc = campos[12].Trim();
// trabalho a string ...
var cidade = new Domain.Cidade();
cidade.Nome = cid_desc;
cidade.Uf = cid_uf;
var bairro = new Domain.Bairro();
bairro.Nome = bai_desc;
funcionario.BairroId = GetBairroId(bairro, cidade);
}
try
{
contexto.Funcionarios.Add(funcionario);
contexto.SaveChanges();
Matriculas.Add(matricula);
count++;
if (count == 1000)
{
count = 0;
contexto.Dispose();
contexto = new DataAccess.Context();
}
}
catch (DbEntityValidationException e) { ... }
catch (Exception e) { ... }
}
}
finally
{
file.Close();
}
return RedirectToAction("Index");
}
Meu contexto é criado no construtor da classe Controller e destruido no método Dispose
.
Notem que há um contador e a cada mil registros eu destruo e crio novamente o meu contexto.
Um exemplo para os outros métodos presentes:
OBS: Todos os outros métodos contidos no código da importação possuem a mesma estrutura que este.
private int? GetProfissaoId(string descricao)
{
int? profissao_id = null;
if (!string.IsNullOrEmpty(descricao))
{
var profissaoTemp = CacheProfissoes
.SingleOrDefault(x => x.Descricao.ToLower().Trim() == descricao.ToLower().Trim());
if (profissaoTemp == null)
{
try
{
contexto.Profissoes.Add(profissao);
contexto.SaveChanges();
CacheProfissoes.Add(profissao);
profissao_id = profissao.Id;
}
catch (DbEntityValidationException e) { ... }
catch (Exception e) { ... }
profissao_id = profissao.Id;
}
else
{
profissao_id = profissaoTemp.Id;
}
}
return profissao_id;
}