29

Eu escrevi este pequeno programa em Java para baixar imagens de uma thread em um imageboard:

public class FourChanThreadImageDownloader {
    private static void usage() {
        System.out.println("java FourChanThreadImageDownloader <url> <folder>");
        System.exit(1);
    }

    public static void main(String[] args) {
        if(args.length < 2)
            usage();

        final String url = args[0];
        final String targetDirName = args[1];
        final Pattern imageUrlSyntax =
                Pattern.compile("(//i\\.4cdn\\.org/\\w+/\\d+\\.(?:jpg|webm|gif|png))");
        boolean successfull = false;

        final File targetDir = new File(targetDirName);
        if(!targetDir.exists()) {
            System.out.println("Creating destination directory");
            if(!targetDir.mkdir()) {
                System.out.println("Could not create target directory");
                System.exit(1);
            }
        } else if(!targetDir.canWrite()) {
            System.out.println("Cannot put downloaded images inside destination folder:" +
                    " you have not permission to write in this directory.");
            System.exit(1);
        }
        try {
            final URL fourChan = new URL(url);
            final Reader inputReader = new    InputStreamReader(fourChan.openStream());

            System.out.println("Connecting OK, trying to download images");

            final BufferedReader bufReader = new BufferedReader(inputReader);
            final StringBuilder pageContent = new StringBuilder();

            int c;
            while((c = bufReader.read()) != -1)
                pageContent.append((char) c);

            final Matcher finder = imageUrlSyntax.matcher(pageContent.toString());
            while(finder.find()) {
                final String currImage = "http:" + finder.group();
                final String imageName = currImage.split("/")[4];
                final BufferedInputStream targetStream =
                    new BufferedInputStream(new URL(currImage).openStream());
                final ByteArrayOutputStream recipient = new ByteArrayOutputStream();
                System.out.println("Downloading: " + currImage);

                int d;
                int notifyCounter = 0;
                while((d = targetStream.read()) != -1) {
                    recipient.write(d);
                    if(notifyCounter == 8196) {
                        System.out.print('.');
                        notifyCounter = 0;
                    }
                    notifyCounter++;
                }
                System.out.println("\nImage successfully downloaded");
                final File nextImage = new File(targetDir, imageName);
                final BufferedOutputStream image =
                    new BufferedOutputStream(new FileOutputStream(nextImage));
                System.out.println("Saving image in " + nextImage.toString());
                image.write(recipient.toByteArray());
                image.close();
                recipient.close();
                successfull = true;
            }
        } catch(MalformedURLException e) {
           System.out.println("Mistyped URL");
            successfull = false;
        } catch(IOException e) {
            if(e instanceof FileNotFoundException) {
                System.err.println("Cannot download images: Thread not found (404)");
                return;
            }
            System.err.println("An error occurred: " + e.getMessage());
            successfull = false;
        }

        if(successfull)
            System.out.println("Success");
        }
   }

Até aí tudo bem, funciona perfeitamente. Mas o problema é: O meu gerenciador de tarefas diz que o processo Java que roda esse programinha consome por volta de 80MiB de memória (oscila entre isso e até mesmo 110MiB).

  • Qual a razão de Java consumir tanta memória?

  • Como evitar um super-consumo de memória em Java?

  • Quais as melhores práticas pra um uso mais eficiente de memória em Java?

  • O que há no meu código que cause um consumo de memória tão alto?

Esse consumo para mim não parece normal, já que eu observei que outros programas em Java "grandões" como o Apache Tomcat, I2P e Elasticsearch, quando rodando sem que ninguém os use mantém um consumo constante de 100MiB.

Edit:

Recentemente eu fiz pequenas alterações (na realidade, otimizações, digamos) que melhoram milagrosamente o uso de memória do meu programinha. Agora o mesmo consome por volta de 30MiB e 60MiB. E a princípio, as alterações são simples:

import java.io.*;
import java.net.MalformedURLException;
import java.net.URL;
import java.util.regex.Matcher;
import java.util.regex.Pattern;

public class FourChanThreadImageDownloader {

    private static void usage() {
        System.out.println("java FourChanThreadImageDownloader <url> <folder>");
        System.exit(1);
    }

    public static void main(String[] args) {
        if(args.length < 2)
            usage();

        final String url = args[0];
        final String targetDirName = args[1];
        final Pattern imageUrlSyntax =
                Pattern.compile("(//i\\.4cdn\\.org/\\w+/\\d+\\.(?:jpg|webm|gif|png))");
        boolean successfull = false;

        final File targetDir = new File(targetDirName);
        if(!targetDir.exists()) {
            System.out.println("Creating destination directory");
            if(!targetDir.mkdir()) {
                System.out.println("Could not create target directory");
                System.exit(1);
            }
        } else if(!targetDir.canWrite()) {
            System.out.println("Cannot put downloaded images inside destination folder:" +
                " you have not permission to write in this directory.");
            System.exit(1);
        }

        final URL fourChan;
        try {
            fourChan = new URL(url);
        } catch(MalformedURLException e) {
            System.err.println("Mistyped URL");
            return;
        }

         try(final Reader inputReader = new InputStreamReader(fourChan.openStream());
            final BufferedReader bufReader = new BufferedReader(inputReader)) {
            System.out.println("Connecting OK, trying to download images");

            final StringBuilder pageContent = new StringBuilder();

            int c;
            while((c = bufReader.read()) != -1)
                pageContent.append((char) c);

            final Matcher finder = imageUrlSyntax.matcher(pageContent.toString());
            while(finder.find()) {
                final String currImage = "http:" + finder.group();
                final String imageName = currImage.split("/")[4];

                try(final BufferedInputStream targetStream =
                    new BufferedInputStream(new URL(currImage).openStream());
                final ByteArrayOutputStream recipient = new ByteArrayOutputStream()) {
                    System.out.println("Downloading: " + currImage);

                    int d;
                    int notifyCounter = 0;
                    while((d = targetStream.read()) != -1) {
                        recipient.write(d);
                        if(notifyCounter == 8196) {
                            System.out.print('.');
                            notifyCounter = 0;
                        }
                        notifyCounter++;
                    }

                    System.out.println("\nImage successfully downloaded");
                    final File nextImage = new File(targetDir, imageName);
                    final BufferedOutputStream image =
                        new BufferedOutputStream(new FileOutputStream(nextImage));
                    System.out.println("Saving image in " + nextImage.toString());
                    recipient.writeTo(image);
                    image.flush();
                    image.close();
                    successfull = true;
                }
            }
        } catch(IOException e) {
            if(e instanceof FileNotFoundException)
                System.out.println("Cannot download images: Thread not found (404)");
            else
                System.out.println("An error occurred: " + e.getLocalizedMessage());
            successfull = false;
        }

        if(successfull)
            System.out.println("Success");
    }
}

Não é muito diferente do programa original, as alterações foram:

  • Os buffers e streams foram jogados para dentro de try-with-resources para garantir o fechamento dos mesmos.
  • O toByteArray() foi substituído por um writeTo() para impedir que o objeto copie a imagem inteira para depois escrever no arquivo.
  • O stream que escreve a imagem no arquivo é devidamente fechado e um flush()eados para garantir a operação.

Apesar das respostas aqui, a razão do meu programinha consumir tanta memória foi o seguinte: Má programação. Eu não usei os métodos adequados e não tratei de gerenciar os recursos que eu uso corretamente, o que não ocorre no código acima. O que fez com que o programa lotasse a memória de imagens que já foram baixadas e milhares de buffers não fechados, além do uso de métodos caros como o toByteArray(), como o Maniero destacou. Basicamente: Vários memory leaks a cada iteração do loop.

Bem, a lição que fica dessa pergunta é mais ou menos a seguinte: conheça a biblioteca padrão da sua linguagem, conheça estruturas de dados, algoritmos e tenha consciência geral do que acontece "nos bastidores" do seu código. Nesse caso, o meu erro foi deixar memory leaks acontecerem.

Java não foi feito para criar programas que usem memória eficientemente (Java não é C, digamos), mas isso não é razão para programar como se a memória fosse infinita como também não é razão para tentar fazer milagres. É importante reconhecer quando um caso de alto consumo é estranho e ainda sim ter em mente as boas práticas.

3
  • 4
    A Máquina Virtual Java (JVM) em si já é bem grandona, e além disso o coletor de lixo (Garbage Collector - GC) do Java somente "recicla" a memória quando está faltando memória pro sistema. Por isso, coisas que você fez e já descartou (esses buffers de E/S) podem ainda existir na memória por um bom tempo depois de serem usados - em especial se tudo está sendo feito numa função só (o GC "Generational" deve liberar memória mais rápido, caso cada imagem com todos os seus buffers sejam lidos numa função à parte; mas não é garantido).
    – mgibsonbr
    1/03/2015 às 2:00
  • Notei, eu experimentei rodar um "Hello world" com um Thread.sleep(10000) só pra ver o quanto um simples Hello world consome. Chegou a 20MiB.
    – Sid
    1/03/2015 às 2:19
  • @Sid estava lendo sua edição e você fala de má programação. Até coloquei na conclusão da minha resposta mas no meio dela já mostrava que isto estava ocorrendo, eu só fui político em não dizer isto diretamente :)
    – Maniero
    11/03/2015 às 15:47

1 Resposta 1

33

O gerenciador de tarefas não é uma ferramenta confiável para verificar quanta memória uma aplicação está consumindo.

Existem alguns fatores para o grande consumo do Java:

  1. O Java é uma plataforma e não apenas um programa executável nativo simples. O runtime do Java é grande para gerir toda a plataforma. E ainda é comum carregar códigos que não serão efetivamente utilizados na aplicação. Este provavelmente é o maior responsável por "pequenos" programas consumirem muita memória.
  2. O código Java possui muitos metadados para ajudar a execução. Aumenta pouco mas aumenta.
  3. Além da carga do bytecode do Java há um consumo de memória do código nativo gerado pelo JITter e ele pode rodar várias vezes. É só um exemplo do que pode carregar um pouco mais o que já é bem carregado. E O processo do JITter é complexo.
  4. Java prefere que a maioria dos tipos de dados sejam objetos por referência e isto tende a aumentar o consumo de memória em proporção ao número de objetos criados (mudará um pouco em futuras versões, mas ainda haverá es ta preferência)
  5. Há um overhead um pouco exagerado em cada objeto alocado no heap. Carga extra proporcional ao número de objetos.
  6. Alguns tipos têm um overhead maior ainda. Uma string, por exemplo chega ter 40 bytes de consumo mesmo que não tenha um caractere sequer e isto pode se multiplicar por causa do próximo item.
  7. Alguns tipos são imutáveis e geram cópias em excesso dependendo da maneira como são usados. Nem todo programador tem noção quando as cópias ocorrem e pode sair do controle em certos casos.
  8. Alguns tipos são mais complexos do que deveriam contendo informações que raramente são úteis e composições em profundidade. Estes tipos usados em exagero podem fazer diferença.
  9. O GC não libera memória imediatamente após o objeto não ter ser mais necessário. E mais, ele pré-aloca uma boa porção de memória para trabalhar com as gerações, mesmo que ainda não esteja usando. Então há um consumo artificial de memória (não que isto seja necessariamente ruim). Isso melhorou um pouco, mas bem pouco.
  10. Threads tem seu próprio custo extra. Em certo sentido uma thread tem um consumo próximo ao de um processo. Há alguma economia em relação ao processo mas em certas situações ela é pequena. Isto não é exclusivo do Java mas ele tem um custo um pouco maior.

É verdade que alguns destes itens não tornam o consumo de memória tão grande assim em aplicações maiores, mas outros fazem um grande "estrago". O consumo de memória gerado pelos dados criados em tempo de execução tende a consumir muito mais que os dados estáticos (o código, por exemplo), pelo menos em aplicações reais que trabalham com um bom volume de dados. Aplicações muito simples do tipo hello world pagam o consumo mínimo do Java que você descobriu ser por volta dos 20MB.

De qualquer forma o consumo é um pouco enganoso por causa da forma como o garbage collector trabalha. Ele não se preocupa em liberar a memória para o sistema operacional na maioria das suas coletas. A coleta não significa necessariamente uma liberação de memória.

Por estas características uma aplicação muito simples consome muito. A tendência é aplicações maiores consumirem proporcionalmente menos em relação ao seu tamanho total. Mas é preciso definir o que é uma aplicação simples. Uma aplicação que carrega imagens, possivelmente grandes, na memória não é uma aplicação leve mesmo que o código seja muito simples. A aplicação exemplo da pergunta parece consumir muita memória por necessidade legítima.

Parte da "culpa" do grande consumo é do programador usuário da linguagem e plataforma que não não entende bem seu funcionamento interno e/ou não tem conhecimento suficiente sobre algoritmos e principalmente sobre estrutura de dados.

Também é um problema o uso de frameworks pesados ou mesmo arquiteturas complexas demais. Muitas pessoas ou não sabem o custo do que estão usando/fazendo ou não se importam com isto. Não é bem o caso de um hello world mas muitas vezes é a explicação para uma aplicação Java ser mais pesada do que deveria ser.

Por outro lado alguns frameworks são até mais otimizados e possuem estruturas de dados próprias para economizar memória.

A empresa que faz este site tem que usar uma série de técnicas para economizar memória. Ele é feito em C# que tem mais ou menos os mesmos "problemas" do Java. É verdade que a linguagem possui melhores ferramentas para fazer as otimizações mas ainda dá trabalho. Um exemplo é o novo compilador do C# que precisou criar tantas estruturas de dados novas para atender suas necessidades de performance e consumo de memória que ficou maior que as estruturas de dados de uso geral da biblioteca padrão da linguagem.

O que fazer?

Existem técnicas específicas para cada situação e conseguir que o consumo seja menor, isto é o mais efetivo, mas mesmo nisto a linguagem não ajuda muito.

Sobra ainda um tunning da execução através de alguns parâmetros que podem ser passados quando invoca a máquina virtual do Java. É preciso ser especialista em otimizações para conseguir um bom resultado. Um aventureiro pode conseguir o oposto. É fácil obter bom resultado em um teste controlado e piorar com o uso real. Então um monitoramento constante se faz necessário em vários casos.

Lembre-se que cada new está consumindo memória nova. Claro que outras coisas também consomem, no seu código tem vários exemplos de alocações sem new. Mas esta forma especialmente tende a desperdiçar memória se você não entender bem o que está acontecendo. Especialmente dentro de um laço com muita interações. Lembre-se que mesmo que você coloque o objeto criado com new na mesma variável, um objeto novo é criado. O que você coloca na mesma variável é a referência para o objeto novo criado. Claro que o objeto antigo será liberado se não tiver mais referências para ele, mas não se sabe quando.

Dominar o uso de ferramentas de perfilamento pode ser útil. Para isto é preciso organizar bem as funções. Não querer fazer tudo em uma única função como está no seu código.

Você sabia que se houver uma exceção em certos locais do seu código exemplo você ainda terá um vazamento de memória porque o recurso aberto não será fechado? Isso pode estar ajudando o consumo excessivo.

Por fim comece aprender todos os detalhes da plataforma, o funcionamento interno da máquina virtual, do coletor de lixo, como funcionam todas as estruturas de dados da biblioteca, etc.

Percebeu como é complexo? E como seria difícil dizer tudo o que pode ser feito para economizar memória? De qualquer forma, com estes itens já dá uma mostra que algumas coisas que podem ser evitadas para reduzir o consumo.

Algumas pessoas dirão que se for para você se preocupar com a memória é melhor usar outra linguagem. Chega um ponto que é tão complicado conseguir fazer o Java economizar memória que o uso de C++ moderno ou Rust podem ser uma alternativa melhor.

E de fato se sua preocupação for o consumo de memória, é melhor não escolher Java. Nunca foi preocupação da linguagem/plataforma, então aproveite o que o Java tem a oferecer de melhor, não é eficiência no consumo de memória.

Conclusão

Se fosse resumir em um item porque o consumo de memória é grande em Java eu diria que é por causa da filosofia da linguagem de facilitar a vida do programador. Isto tem um custo. Mas no caso específico uma parte do problema é o uso errado de alguns recursos, como o próprio autor disse na edição, é má programação. E isto é muito comum.

Para dúvidas específicas podemos ajudar de forma focada em perguntas individuais.

Coloquei no GitHub para referência futura.

13
  • Então eu poderia concluir que Java não foi feito para aplicações pequenas? Porque: Uma ferramenta como a minha consome memória demais, mas em uma grande, essa memória que na realidade não é do programa, é da plataforma praticamente se torna supérflua, que deve ser o caso do Tomcat e do I2P.
    – Sid
    1/03/2015 às 3:54
  • E eu também poderia concluir que quebrar o meu método main() que faz toda a tarefa numa função só em funções menores ajudaria? Porque: Se todas as variáveis do programa estão presas ao escopo do main(), então qualquer reatribuição de variável criaria um objeto a ser coletado pelo GC. Agora, se eu isolar uma responsabilidade num método que será chamado várias vezes, melhoraria porque depois que o escopo da função, as variáveis serão destruídas?
    – Sid
    1/03/2015 às 3:57
  • É, aplicações que precisem ser extremamente pequenas realmente o Java não se sai bem. Mas lenbre-se que parte da "culpa" é da plataforma" mas parte é do programa que abusa de coisas que consomem mais memória do que deveria. Quebrar o programa em funções menores pode ajudar. Aumenta as chances. Mas GC não é determinístico, então é difícil garantir. E a pior coisa que alguém poderia fazer é tentar forçar a coleta.
    – Maniero
    1/03/2015 às 4:00
  • Aliás, a pergunta está praticamente encerrada, mas a questão dos "programões" ainda me intriga: Como que a minha pequena ferramenta consome a mesma quantidade de memória de programas realmente grandes?
    – Sid
    1/03/2015 às 4:51
  • 1
    @Sid Talvez porque seu programa esteja manipulando imagens, que por sua natureza são bem grandes. Além disso, dando uma passada de olho no seu código vejo vários e vários buffers - inclusive em alguns casos você chama métodos caros como toByteArray - que se não me falha a memória copia o conteúdo inteiro da imagem. Processando várias imagens em sequência, não me admira que gaste muita memória, principalmente se comparado com um Tomcat que, com toda sua complexidade, manipula mais texto (HTML) do que qualquer outra coisa...
    – mgibsonbr
    1/03/2015 às 5:05

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .