3

Tenho um projeto Asp.Net MVC com Entity Framework 4 e SQL Server, onde existe uma Action que recebe via POST um arquivo csv.

Levando em consideração o uso de memória, tempo e recursos de processamento ou qualquer questão quanto ao banco de dados, qual dessas duas opções de código é a mais recomendada?

Um número aproximado de 15000 linhas poderá ser usado no arquivo.

Opção 1:

var postedFile = Request.Files[0];

using (var reader = new StreamReader(postedFile.InputStream))
{
    using (TransactionScope scope = new TransactionScope())
    {
        while (!reader.EndOfStream)
        {
            var line = reader.ReadLine();
            var values = line.Split(';');

            // Validações

            db.Produtos.Add(new Produto { Descricao = values[0], Valor = values[1] });
        }

        db.SaveChanges();
        scope.Complete();
    }
}

Opção 2:

var postedFile = Request.Files[0];

using (var reader = new StreamReader(postedFile.InputStream))
{
    var produtos = new List<Produto>();
    while (!reader.EndOfStream)
    {
        var line = reader.ReadLine();
        var values = line.Split(';');

        // Validações

        var produto = new Produto
        {
            Descricao = values[0],
            Valor = values[1]
        };

        produtos.Add(produto);
    }

    using (TransactionScope scope = new TransactionScope())
    {
        produtos.ForEach(p => db.Produto.Add(p));

            db.SaveChanges();
            scope.Complete();
    }
}

Existe uma Opção 3 melhor?

10
  • Você está salvando um arquivo .csv na sua base de dados num array de bytes?
    – user46523
    31/05/2016 às 19:41
  • não não, quero fazer tudo na memória... 31/05/2016 às 19:43
  • 1
    @João é isso mesmo, e o modelo é Descrição;Valor pelos dados da pergunta. :P 31/05/2016 às 19:55
  • 1
    @João entendi, estarei editando a pergunta. Estou usando MVC 4, o projeto é antigo. 31/05/2016 às 20:10
  • 2
    @JedaiasRodrigues, te aconselho a não fazer uso do List<T>.ForEach, ele torna o codigo ruim de debuggar, é mais lento, e está atribuindo uma função a lista que não é dela. Quando a ler o CSV, tome cuidado com caracteres de escape e outras regrinhas do mesmo, então te aconselho a usar o CsvHelper. Por fim, por questões de perfomance, evite salvar os 15.000 registros de uma vez, faça um SaveChanges a cada 100~1000 registros, ou melhor faça uso do SqlBulkCopy 31/05/2016 às 20:25

2 Respostas 2

3

Existe uma Opção 3 melhor?

Existe. Comece instalando o FileHelpers e o BulkInsert para o Entity Framework.

Use algo parecido com a opção 2:

using FileHelpers;
using EntityFramework.BulkInsert.Extensions;

var postedFile = Request.Files[0];

using (var reader = new StreamReader(postedFile.InputStream))
{
    var engine = new FileHelperEngine<Produto>();
    var produtos = engine.ReadStream(reader);

    using (TransactionScope scope = new TransactionScope())
    {
        db.BulkInsert(produtos);
        db.SaveChanges();
        scope.Complete();
    }
}

Não esqueça de decorar Produto com:

[DelimitedRecord(";")]
public class Produto { ... }

Sobre a Opção 1

Adicionando um produto de cada vez ao contexto fará com que este contexto fique lento com alguns milhares de registros. A operação pode ficar excessivamente lenta e levar muito mais tempo que o desejado.

Sobre a Opção 2

Não é muito diferente da opção 1, com um agravante: você está usando mais memória para manter a lista e depois para adicioná-la ao contexto (não é muito mais memória, mas é).

Durante a transação, existe o risco de que a tabela fique bloqueada pra possíveis consultas por outros usuários?

Existe sim, considerando que o nível de isolamento padrão do escopo transacional é o mais alto possível (Serializable).

É possível mudar o nível de isolamento dos registros (veja a opção TransactionOptions).

O BulkInsert insere os itens em blocos?

Sim, como um bloco só. Não há separação em blocos menores.

Posso fazer o controle disso?

Pode, montando os blocos em memória antes.

A Transaction fica aberta durante a inserção dos 15000 itens?

Fica aberta até que o using termine ou que scope.Complete() seja chamado.

Isso não pode interferir na performance?

Transações são mais lentas que operações normais de inserção porque o banco de dados executa uma série de operações para validar este escopo. O ganho de performance vem através do Bulk Insert.

Outra questão é que meu projeto é antigo, e está usando a versão 4 do EF, mas o BulkInsert tem o EF 4.1 em suas dependências, e tenho medo que ao instala-lo seja feita a atualização do EF e cause alguma dor de cabeça.

Desconheço problemas com a atualização da versão do EF, a não ser que você faça uso do OriginalValues de alguma entidade em algum lugar. Fora isto, eu aconselho sim a atualização.

4
  • muito obrigado pela resposta! Será que você poderia explanar mais um pouco sobre o porque de usar o FileHelpers e o BulkInsert, e qual o problema nas opções apresentadas? 1/06/2016 às 11:02
  • Durante a transação, existe o risco de que a tabela fique bloqueada pra possíveis consultas por outros usuários? O BulkInsert insere os itens em blocos? Posso fazer o controle disso? A Transaction fica aberta durante a inserção dos 15000 itens? Isso não pode interferir na performance? 1/06/2016 às 14:42
  • Outra questão é que meu projeto é antigo, e está usando a versão 4 do EF, mas o BulkInsert tem o EF 4.1 em suas dependências, e tenho medo que ao instala-lo seja feita a atualização do EF e cause alguma dor de cabeça. 1/06/2016 às 16:34
  • ;( 2/06/2016 às 14:55
0

Uma outra maneira também seria utilizar BulkInsert feito a mão, um método genérico que lê as propriedades e monta um insert super rápido...

Tem um repositório github que contém dois métodos muito úteis para operações Bulk: BulkInsert and BulkUpdate utilizando MySql e EF6+.

Basicamente, ambas funções encontradas no link leem as propriedades genérica passada nos métodos e monta as querys referentes (update ou insert)...

Obs1: O projeto foi desenvolvido visando as necessidades particulares, caso por exemplo o banco seja diferente, será necessário adaptações, mas já é um começo.

Obs²: O projeto está aberto para aqueles que desejam aprimorá-lo no intuito de gerar valor para a comunidade.

Por favor, de uma olhada em aqui

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .