3

Estou a construir um programa para inserir dados de ficheiros excel para uma base de dados.

A minha base de dados tem esta estrutura:

Tabelas (e campos):

  • Schedule (Id (PK), StartTime, EndTime, DayWeek, RoomId (FK), ClassId (FK), SubjectId (FK), TeacherId (FK))
  • Rooms (RoomId (PK), RoomName)
  • Classes (ClassId (PK), ClassName)
  • Subjects (SubjectId (PK), SubjectName)
  • Teachers (TeacherId (PK), TeacherName)

Os métodos são semelhantes a este:

context.Horarios.Add(
    new Horarios
    {
        Cod_Tempo = cod_Tempo,
        Dia_Semana = dia_Semana,
        Cod_Disciplina = ObterCodDisciplina(disciplina),
        Cod_Professor = ObterCodProfessor(nomeProfessor),
        Cod_Sala = ObterCodSala(sala),
        Cod_Turma = ObterCodTurma(turma)
    });

private int? ObterCodDisciplina(string disciplina)
{
    using (var context = new ScheduleDatabaseEntities())
    {
        var dis = context.Disciplinas.FirstOrDefault(a => a.Disciplina == disciplina);
        if (dis == null)
        {
            var disciplinaEntity = new Disciplinas {Disciplina = disciplina};
            context.Disciplinas.Add(disciplinaEntity);
            context.SaveChanges();
            return disciplinaEntity.Cod_Disciplina;
        }
        else
            return dis.Cod_Disciplina;
    }
}

O objetivo desde código é inserir na tabela relacional se não houver já nenhum campo com esse nome e associar à row a ser preenchida. Desta maneira funciona, mas queria uma forma de melhorar a performance, visto que isto está um pouco lento a executar a query, alguma sugestão?

Edit:

Código Completo, para perceber o objectivo do programa:

        private void btn_addtodb_Click(object sender, EventArgs e)
    {
        try
        {
            stopwatch.Start();

            using (var context = new ScheduleDatabaseEntities())
            {
                foreach (string fullfilePath in ExcelfilesPath)
                {
                    Excel.Workbook theWorkbook = app.Workbooks.Open(fullfilePath);
                    for (int i = 1; i <= theWorkbook.Worksheets.Count; i++)
                    {
                        Excel.Worksheet theWorksheet = theWorkbook.Worksheets[i];
                        Excel.Range excelRange = theWorksheet.UsedRange;
                        object[,] valueArray = (object[,])excelRange.get_Value(Excel.XlRangeValueDataType.xlRangeValueDefault);
                        string nomeProfessor = Convert.ToString(valueArray[9, 2]);

                        for (int k = 4; k <= 12; k = k + 2)
                        {
                            for (int j = 16; j <= 35; j = j + 2)
                            {
                                if (j == 24)
                                    j--;
                                if (valueArray[j, k] != null)
                                {
                                    int cod_Tempo = Convert.ToInt32(valueArray[j, 1]);
                                    string hora_Inicial = Convert.ToString(valueArray[j, 2]);
                                    string hora_Final = Convert.ToString(valueArray[j, 3]);
                                    string sala = Convert.ToString(valueArray[j, k + 1]);
                                    string dia_Semana = Convert.ToString(valueArray[14, k]);
                                    string turma, disciplina;
                                    string str = Convert.ToString(valueArray[j, k]);

                                    if (Char.IsNumber(str[0]) && str.Contains(" "))
                                    {
                                        string[] splistring = str.Split(new[] { " " }, 2, StringSplitOptions.None);
                                        turma = splistring[0];
                                        disciplina = splistring[1];
                                    }
                                    else
                                    {
                                        turma = null;
                                        disciplina = str;
                                    }
                                   context.Horarios.Add(new Horarios { Cod_Tempo = cod_Tempo, Dia_Semana = dia_Semana, Cod_Disciplina = ObterCodDisciplina(disciplina), Cod_Professor = ObterCodProfessor(nomeProfessor), Cod_Sala = ObterCodSala(sala), Cod_Turma = ObterCodTurma(turma) });
                                }
                            }
                        }
                    }
                }
                context.SaveChanges();
            }
            stopwatch.Stop();
            MessageBox.Show("Done! Tempo: "+stopwatch.ElapsedMilliseconds);
        }
        catch (Exception ex)
        {
            MessageBox.Show(ex.ToString());
        }
    }

private int? ObterCodDisciplina(string disciplina)
    {
        using (var context = new ScheduleDatabaseEntities())
        {
            var dis = context.Disciplinas.FirstOrDefault(a => a.Disciplina == disciplina);
            if (dis == null)
            {
                var disciplinaEntity = new Disciplinas { Disciplina = disciplina };
                context.Disciplinas.Add(disciplinaEntity);
                context.SaveChanges();
                return disciplinaEntity.Cod_Disciplina;
            }
            else
                return dis.Cod_Disciplina;
        }
    }
    private int? ObterCodProfessor(string professor)
    {
        using (var context = new ScheduleDatabaseEntities())
        {
            var prof = context.Professores.FirstOrDefault(a => a.Professor == professor);
            if (prof == null)
            {
                var professorEntity = new Professores { Professor = professor };
                context.Professores.Add(professorEntity);
                context.SaveChanges();
                return professorEntity.Cod_Professor;
            }
            else
                return prof.Cod_Professor;
        }
    }
    private int? ObterCodSala(string sala)
    {
        using (var context = new ScheduleDatabaseEntities())
        {
            var sal = context.Salas.FirstOrDefault(a => a.Sala == sala);
            if (sal == null)
            {
                var salaEntity = new Salas { Sala = sala };
                context.Salas.Add(salaEntity);
                context.SaveChanges();
                return salaEntity.Cod_Sala;
            }
            else
                return sal.Cod_Sala;
        }
    }
    private int? ObterCodTurma(string turma)
    {
        using (var context = new ScheduleDatabaseEntities())
        {
            if (turma == null)
                return null;
            var turm= context.Turmas.FirstOrDefault(a => a.Turma == turma);
            if (turm == null)
            {
                var turmaEntity = new Turmas { Turma = turma };
                context.Turmas.Add(turmaEntity);
                context.SaveChanges();
                return turmaEntity.Cod_Turma;
            }
            else
                return turm.Cod_Turma;
        }
    }
2
  • Provavelmente está lento por você estar dando um SaveChanges() no meio da operação. No seu cenário atual, você pode deixar isso tudo em um mesmo bloco? Tanto a inserção de horários e de disciplinas? Commented 30/03/2015 às 12:57
  • Eu tenho de fazer SaveChanges() no método para que para a próxima vês que ele fizer a mesma consulta já estar na BD, mas testei sem SaveChanges(), mesmo sabendo que não ia funcionar como eu queria e mesmo assim demora muito.
    – Exprove
    Commented 30/03/2015 às 22:37

1 Resposta 1

1

EDIT: carregando os lookups antes de processar a tabela do excel

Esse código carrega todas as informações de lookup de antemão, sendo que somente serão adicionados os elementos quando não existirem nos dicionários de lookup.

Assim sendo, todas as adições que já seriam feitas, vão continuar sendo feitas. Mas os carregamentos de dados, serão todos feitos de uma só vez.

private void btn_addtodb_Click(object sender, EventArgs e)
{
    try
    {
        stopwatch.Start();

        using (var context = new ScheduleDatabaseEntities())
        {
            // carregando todas as informações de lookup antecipadamente
            var disciplinas = context.Disciplinas.ToDictionary(a => a.Disciplina, a => a.Cod_Disciplina);
            var professores = context.Professores.ToDictionary(a => a.Professor, a => a.Cod_Professor);
            var salas = context.Salas.ToDictionary(a => a.Sala, a => a.Cod_Sala);
            var turmas = context.Turmas.ToDictionary(a => a.Turma, a => a.Cod_Turma);

            foreach (string fullfilePath in ExcelfilesPath)
            {
                Excel.Workbook theWorkbook = app.Workbooks.Open(fullfilePath);
                for (int i = 1; i <= theWorkbook.Worksheets.Count; i++)
                {
                    Excel.Worksheet theWorksheet = theWorkbook.Worksheets[i];
                    Excel.Range excelRange = theWorksheet.UsedRange;
                    object[,] valueArray = (object[,])excelRange.get_Value(Excel.XlRangeValueDataType.xlRangeValueDefault);
                    string nomeProfessor = Convert.ToString(valueArray[9, 2]);

                    for (int k = 4; k <= 12; k = k + 2)
                    {
                        for (int j = 16; j <= 35; j = j + 2)
                        {
                            if (j == 24)
                                j--;
                            if (valueArray[j, k] != null)
                            {
                                int cod_Tempo = Convert.ToInt32(valueArray[j, 1]);
                                string hora_Inicial = Convert.ToString(valueArray[j, 2]);
                                string hora_Final = Convert.ToString(valueArray[j, 3]);
                                string sala = Convert.ToString(valueArray[j, k + 1]);
                                string dia_Semana = Convert.ToString(valueArray[14, k]);
                                string turma, disciplina;
                                string str = Convert.ToString(valueArray[j, k]);

                                if (Char.IsNumber(str[0]) && str.Contains(" "))
                                {
                                    string[] splistring = str.Split(new[] { " " }, 2, StringSplitOptions.None);
                                    turma = splistring[0];
                                    disciplina = splistring[1];
                                }
                                else
                                {
                                    turma = null;
                                    disciplina = str;
                                }
                                context.Horarios.Add(new Horarios {
                                        Cod_Tempo = cod_Tempo,
                                        Dia_Semana = dia_Semana,
                                        Cod_Disciplina = ObterCodDisciplina(context, disciplina, disciplinas),
                                        Cod_Professor = ObterCodProfessor(context, nomeProfessor, professores),
                                        Cod_Sala = ObterCodSala(context, sala, salas),
                                        Cod_Turma = ObterCodTurma(context, turma, turmas)
                                    });
                            }
                        }
                    }
                }
            }
            context.SaveChanges();
        }
        stopwatch.Stop();
        MessageBox.Show("Done! Tempo: "+stopwatch.ElapsedMilliseconds);
    }
    catch (Exception ex)
    {
        MessageBox.Show(ex.ToString());
    }
}

private int? ObterCodDisciplina(ScheduleDatabaseEntities context, string disciplina, Dictionary<string, int> dic)
{
    int id;
    if (!dic.TryGet(disciplina, out id))
    {
        var entidade = new Disciplinas { Disciplina = disciplina };
        context.Disciplinas.Add(entidade);
        context.SaveChanges();
        id = entidade.Cod_Disciplina;
        dic[disciplina] = id;
    }
    return id;
}

private int? ObterCodProfessor(ScheduleDatabaseEntities context, string professor, Dictionary<string, int> dic)
{
    int id;
    if (!dic.TryGet(professor, out id))
    {
        var entidade = new Professores { Professor = professor };
        context.Professores.Add(entidade);
        context.SaveChanges();
        id = entidade.Cod_Professor;
        dic[professor] = id;
    }
    return id;
}

private int? ObterCodSala(ScheduleDatabaseEntities context, string sala, Dictionary<string, int> dic)
{
    int id;
    if (!dic.TryGet(sala, out id))
    {
        var entidade = new Salas { Sala = sala };
        context.Salas.Add(entidade);
        context.SaveChanges();
        id = entidade.Cod_Sala;
        dic[sala] = id;
    }
    return id;
}

private int? ObterCodTurma(string turma)
{
    if (turma == null)
        return null;
    int id;
    if (!dic.TryGet(turma, out id))
    {
        var entidade = new Turmas { Turma = turma };
        context.Turmas.Add(entidade);
        context.SaveChanges();
        id = entidade.Cod_Turma;
        dic[turma] = id;
    }
    return id;
}

EDIT: antigo... adicionar ou atualizar registro um a um

Segundo a lenda do EntityFramework Ladislav Mrnka(em Inglês), não é possível fazer isso em uma única query.

Você entretanto não precisa carregar o objeto inteiro, podendo fazer uma query que retorna algo que indique se o objeto existe ou não, depois anexar o objeto no contexto do entity, e finalmente chamar SaveChanges:

var idOrNull = context.Disciplinas
    .Where(a => a.Disciplina == disciplina)
    .Select(a => (int?)a.Id)
    .FirstOrDefault();

var disciplinaEntity = new Disciplinas { Disciplina = disciplina };

if (idOrNull != null)
{
    // se idOrNull não for nulo, é porque já existe, então vamos atualizar o objeto
    disciplinaEntity.Id = idOrNull.Value;
    context.Disciplinas.Attach(disciplinaEntity);

    // indicando quais propriedades devem ser salvas
    // para obter o máximo de granularidade no salvamento
    context.Entry(disciplinaEntity).Property(u => u.Disciplina).IsModified = true;

    // se o objetivo é dar um replace em todos os campos do objeto
    // então descomente a linha abaixo
    //context.ObjectStateManager.ChangeObjectState(disciplinaEntity, EntityState.Modified);
}
else
{
    // se idOrNull for nulo, é porque não existe, então vamos adicionar o objeto
    context.Disciplinas.AddObject(disciplinaEntity);
}

Sobre a granularidade de salvamento das propriedades(em Inglês)

15
  • Obrigado pela ajuda, há diferença entre Add() e AddObject() é que não tenho acesso a AddObject(). Vou actualizar o código todo, está a dar excepção devido a Foreign Keys. Eu acho que está a interpretar o código mal, eu tenho uma tabela horários, e ao fazer insert nessa tabela, preciso de relacionar com disciplinas, salas, professores e turmas (para isso preciso verificar se já existe, senão adiciono).
    – Exprove
    Commented 31/03/2015 às 0:54
  • Está usando EF6? Commented 31/03/2015 às 0:56
  • Sim, ultima versão
    – Exprove
    Commented 31/03/2015 às 0:57
  • Eu acho que misturei códigos de versões diferentes de EF... por isso o método não existe. Provavelmente não há problema em trocar por Add... vou ter que testar. Commented 31/03/2015 às 0:58
  • Muito obrigado pela ajuda ;). Se tiver paciência para analisar um pouco o código e a intenção do mesmo, mas como já disse funciona mas a performance é lenta. O objectivo é apenas inserir uma row na tabela horários (esta é a real finalidade), mas para isso preciso de introduzir valores nas tabelas relacionais e depois preencher com os id's relacionais.
    – Exprove
    Commented 31/03/2015 às 1:00

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .