11

Estou fazendo uma aplicação web que possui um loop recursivo finito. Porém durante o processo o consumo de memória vai crescendo constantemente e ao final o Visual Studio está com mais de 2 Gigas de uso de memória.

Gostaria de conhecer alguns conceitos sobre a alocação e desalocação de memória (se é que são esses os termos) e o que pode causar esse consumo imenso, ou que artifícios posso recorrer para liberação de memória.

Não sou muito experiente e acredito que isso possa estar sendo causado por códigos não otimizados (para não dizer ruins). Segue meu código:

protected void BtnExportar_OnClick(object sender, EventArgs e)
{
    string folder = @"D:\Fichas\";

    DateTime data = new DateTime();
    data = DateTime.Now;
    data = data.Date;
    string dataSoNumeros = new String(data.ToString().Where(Char.IsDigit).ToArray());

    if (!Directory.Exists(folder))
    {
        Directory.CreateDirectory(folder);
    }

    if (!Directory.Exists(folder + dataSoNumeros.Substring(0, 8)))
    {
        Directory.CreateDirectory(folder + dataSoNumeros.Substring(0, 8));
    }

    Stop = false;

    this.IniciarExportacao();
}

public void IniciarExportacao()
{
    IList<Ficha> Fichas = null;

    do
    {
        Fichas = this.ObterFichas();
        this.GerarArquivo(Fichas);
    }
    while (Fichas.Count > 0 && Stop == false);

    detalhesArquivo.Text = "Exportação Concluída.";
}    

public IList<Ficha> ObterFichas()
{        
    DetachedCriteria criteria = DetachedCriteria.For<Ficha>();

    criteria.SetMaxResults(1);

    criteria.CreateAlias("exportacao", "e",NHibernate.SqlCommand.JoinType.LeftOuterJoin).Add(Restrictions.IsNull("e.Exportado"));

    var fichasObtidas = DomainService.FichaRepository().LoadAll(criteria);

    return fichasObtidas;
}

public void GerarArquivo(IList<Ficha> Fichas)
{
    msgLog = new StringBuilder();        

    msgLog_Inicio  = "    - Iniciando Exportação da Ficha " + Fichas[0].IdFicha + " / Conta " + Fichas[0].Conta.IdConta + "...";
    msgLog_Gerando = "    - Gerando imagem do arquivo...";        

    foreach (var index in Fichas)
    {
        #region DEFAULT

        byte[] arqB = null;
        string nomarq = "";
        string saveLocation = null;
        System.Drawing.Image imageArquivo = null;

        arqB = index.Arquivo;
        nomarq = index.Conta.IdConta + "_" + index.IdFicha;

        DateTime data = new DateTime();
        data = DateTime.Now;
        data = data.Date;
        string dataSoNumeros = new String(data.ToString().Where(Char.IsDigit).ToArray());

        saveLocation = @"D:\fichas\" + dataSoNumeros.Substring(0, 8) + @"\" + nomarq + ".jpg";

        Ficha ficha = new Ficha();
        Exportacao fichaExportacao = new Exportacao();

        ficha = index;
        fichaExportacao.Ficha = index;
        fichaExportacao.IdFicha = index.IdFicha;            
        fichaExportacao.DataExportacao = DateTime.Now;
        fichaExportacao.IdUsuarioExportador = ControlUsuario.GetSession.Usuario.IdUsuario;

        #endregion

        try
        {
            imageArquivo = this.byteArrayToImage(arqB);
            imageArquivo.Save(saveLocation, System.Drawing.Imaging.ImageFormat.Jpeg);
            fichaExportacao.Exportado = 1;
            msgLog_Imagem = "    - Arquivo gerado na pasta "+ saveLocation +"";
        }
        catch (Exception)
        {
            fichaExportacao.Exportado = 0;
            msgLog_Imagem = "    - O arquivo está corrompido e não foi gerado...";
        }

        msgLog.AppendLine(msgLog_Inicio);
        msgLog.AppendLine(msgLog_Gerando);
        msgLog.AppendLine(msgLog_Imagem);

        this.AtualizarFicha(ficha, fichaExportacao, saveLocation, msgLog);            
    }
}

public void AtualizarFicha(Ficha ficha, Exportacao fichaExportacao, string saveLocation, StringBuilder msgLog)
{
    if (ficha.exportacao == null)
    {
        try
        {
            DomainService.ExportacaoRepository().SaveNew(fichaExportacao);
            msgLog_Update = "    - Atualizando registro no banco de dados...";
            msgLog_Usuario = "    - Exportação concluída por " + ControlUsuario.GetSession.Usuario.Nome + ".";
        }
        catch (Exception)
        {
            msgLog_Update = "    - Falha ao atualizar banco de dados...";
            msgLog_Usuario = "    - Exportação não pôde ser concluída. Exportador: " + ControlUsuario.GetSession.Usuario.Nome + ".";
        }
    }
    else
    {
        try
        {
            DomainService.ExportacaoRepository().Update(fichaExportacao);
            msgLog_Update = "    - Atualizando registro no banco de dados...";
            msgLog_Usuario = "    - Exportação concluída por " + ControlUsuario.GetSession.Usuario.Nome + ".";
        }
        catch (Exception)
        {
            msgLog_Update = "    - Falha ao atualizar banco de dados...";
            msgLog_Usuario = "    - Exportação não pôde ser concluída. Exportador: " + ControlUsuario.GetSession.Usuario.Nome + ".";
        }

    }

    msgLog.AppendLine(msgLog_Update);
    msgLog.AppendLine(msgLog_Usuario);

    using (StreamWriter w = new StreamWriter(@"D:\fichas\log.txt", true, Encoding.UTF8))
    {                
        Log(msgLog, w);
    }

    using (StreamReader r = File.OpenText(@"D:\fichas\log.txt"))
    {
        DumpLog(r);
    }
}

#region ARQUIVO IMAGEM

public byte[] Arquivo(object sender, EventArgs e)
{
    return base.Cache[base.Request.QueryString["id"]] as byte[];
}  

public byte[] imageToByteArray(System.Drawing.Image imageIn)
{
    using (var ms = new MemoryStream())
    {
        imageIn.Save(ms, System.Drawing.Imaging.ImageFormat.Jpeg);
        return ms.ToArray();
    }
}

public System.Drawing.Image byteArrayToImage(byte[] byteArrayIn)
{
    MemoryStream ms = new MemoryStream(byteArrayIn);
    System.Drawing.Image returnImage = System.Drawing.Image.FromStream(ms);
    return returnImage;
}

#endregion

#region LOGS

public static void Log(StringBuilder msgLog, TextWriter w)
{
    w.WriteLine("[{0} {1}] ---------------------------------------", DateTime.Now.ToLongTimeString(), DateTime.Now.ToLongDateString());
    w.WriteLine("{0}", msgLog.ToString());
}

public static void DumpLog(StreamReader r)
{
    string line;
    while ((line = r.ReadLine()) != null)
    {
        Console.WriteLine(line);
    }
}

#endregion
7
  • 2
    Pode postar o código que está produzindo esse problema? Muito melhor dar um conselho certeiro que solucione o problema que chutar possíveis causas aleatoriamente. Commented 9/05/2014 às 18:03
  • A príncipio acho que seria mais interessante pra mim(e para futuros leitores) entender melhor como funciona a "roda". Mas postarei o código.
    – Joao Paulo
    Commented 9/05/2014 às 18:06
  • Apenas uma possibilidade: Comente todas as linhas que escrevem no log e tente novamente. Você está a manter o log inteiro na memória. Alguma mudança significativa? Outra: de que ordem estamos falando aqui? Milhares de fichas? Milhões? Commented 9/05/2014 às 18:14
  • 21 mil fichas. Cada uma com um campo imagem cadastrado no banco.
    – Joao Paulo
    Commented 9/05/2014 às 18:15
  • 1
    O do/while é só um loop, não é recursão. Mas ao que tudo indica o problema é mesmo com as imagens.
    – bfavaretto
    Commented 9/05/2014 às 18:26

3 Respostas 3

11

Você tem dois problemas aqui.

O primeiro é as imagens que podem permanecer por tempo indeterminado na memória. Você não chama o método Dispose() delas e deixa a sua referência cair fora de escopo. A partir desse ponto a memória alocada para a imagem vai ser liberada apenas quando o método Finalize() for chamado pelo Garbage Collector. E o GC geralmente só é chamado quando há necessidade de alocar memória, não sempre. Assim é possível que a memória só seja liberada depois de todos os loops executarem. A solução disso? Chame Dispose() no fim de cada loop!

MSDN: Always call Dispose before you release your last reference to the Image. Otherwise, the resources it is using will not be freed until the garbage collector calls the Image object's Finalize method.

O segundo é com o log. Você está mantendo ele com um StringBuilder na memória. Assim, quando o loop do último registro estiver executando você terá uma string enorme guardada. O correto com logs é escrever ele diretamente em arquivos. Até porque se tudo falhar e seu programa crashar, você terá o log salvo. Abra um arquivo no começo do processo e vá escrevendo as mensagens diretamente nesse arquivo.

1
  • 1
    Foi exatamente a questão do Log. Já estou escrevendo ele num arquivo, porém eu estava abrindo e lendo esse arquivo a cada loop. Sendo que só preciso ler uma vez ao final do processo.
    – Joao Paulo
    Commented 9/05/2014 às 19:31
6

Tua variável imageArquivo é do tipo System.Drawing.Bitmap. Esse tipo herda de System.Drawing.Image, que implementa a interface IDIsposable. Daí tu não chamas o método Dispose dessas imagens em lugar nenhum, pode ser essa a causa do consumo exagerado de memória. Imagens não ficam no espaço de memória gerenciado pelo GC ;)

Em outras palavras: o Garbage Collector não tem como saber quando a memória ocupada pelas imagens pode ser liberada. Cabe a você indicar para o GC quando ele pode desalocar essa memória. Você pode fazer isso de duas formas: chamando explicitamente o método Dispose nas suas imagens quando tiver certeza de que não serão mais usadas, ou criar as imagens utilizando a palavra reservarda using da mesma forma como faz com as streams, por exemplo.

Lembrando:

  • Os blocos using chamam o método Dispose automaticamente quando acabam;
  • Jamais tente acessar um objeto cujo método Dispose já foi chamado, pois a desalocação que ocorre "por baixo dos panos" (implementada dentro do Dispose) pode tornar o objeto inutilizável (i.e.: a referência para um tipo Bitmap ainda está lá, mas a imagem mesmo na memória já não existe mais).
5
  • Como eu poderia fazer o Dispose dessas imagens? Não sei como funciona isso.
    – Joao Paulo
    Commented 9/05/2014 às 18:22
  • 1
    @JoaoPaulo editei a resposta para incluir essa informação. Sugiro estudar o método Dispose e a keyword using; Ambos são muito importantes, para o que você está a fazer agora e para muito mais. Commented 9/05/2014 às 18:27
  • Show, vou testar aqui.
    – Joao Paulo
    Commented 9/05/2014 às 18:35
  • fiz assim: using(System.Drawing.Image imageArquivo = this.byteArrayToImage(arqB)), mas continuou subindo a memória. Será que o objeto ficha com o campo imagem que estou carregando pode ser o causador disso também?
    – Joao Paulo
    Commented 9/05/2014 às 18:39
  • 1
    Reveja seu método byteArrayToImage. Você não chama o Dispose da MemoryStream também. Commented 9/05/2014 às 18:42
0

Meu erro em questão foi utilizar esse método de leitura do arquivo em cada loop:

public static void DumpLog(StreamReader r)
{
    string line;
    while ((line = r.ReadLine()) != null)
    {
        Console.WriteLine(line);
    }
}

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .