9

O @Sorack fez as seguintes perguntas sobre performance:

Até o momento, ele obteve duas respostas para a primeira pergunta (a resposta do @Maniero e a do @Isac, que foi apagada) é uma para a segunda pergunta (minha resposta).

Para as respostas do @Maniero e do @Isac, observei que eles estavam medindo, além do tempo de execução do algoritmo em si, também o tempo de execução e manutenção dos laços. Para a minha resposta, eu sei que há um problema na medição devido ao uso da chamada do lambda.

Em situações normais, em que o tempo do algoritmo sendo testado t_i é muito maior do que o tempo da manutenção do laço l_i (t_i >> l_i), o impacto de l_i tende a ser desprezível. Mas no caso em questão, os tempos são possivelmente comparáveis l_i ~= t_i.

Sugeri duas medidas para tentar anular o impacto de l_i para o Maniero, mas ele falou que em ambos os casos não deu certo, mas para outras plataformas. Creio que seja seguro extrapolar e falar que também não funciona pra Java.

Por curiosidade, as sugestões foram:

  1. Rodar o laço com uma função de noop
  2. Fazer a contagem tempo no mais granular possível, apenas logo antes e logo depois de executar o método

Então, minha pergunta é, em Java, como fazer medições estatisticamente relevantes pra quando o tempo de execução do algoritmo é comparável ao tempo de manutenção do laço de repetição?

PS: aceito direcionamentos para outras linguagens, mas o foco em si é Java.

2
  • 1
    Só para informar que eu acho que dá para medir razoavelmente bem se for só o overhead do laço. É claro que você tem que fazer mais de um teste para ajudar entender como a progressão ocorre e ter uma noção do quanto a interferência está grande. Deve ter uns truques para fazer e calcular a interferência, mesmo que não precisamente.
    – Maniero
    Commented 27/11/2017 às 13:08
  • 1
    Dá para fazer testes medindo a execução efetiva com profilers e outras formas que pegam o baixo nível. Mesmo que garanta que um loop vazio não seja otimizado, ajuda, mas não garante nada, porque a execução passa ser diferente, o problema é que a combinação de códigos afeta a performance de forma difícil de analisar. É meio que um efeito borboleta, não parece, mas tem detalhes que mudam tudo.
    – Maniero
    Commented 27/11/2017 às 13:12

1 Resposta 1

4

A única forma de eliminar o tempo consumido pelo loop é eliminando o loop em si e executando o código desejado. O problema disso é que, como normalmente o algoritmo testado é tão rápido, é difícil obter o tempo de execução com precisão.

Como normalmente o teste de performance tem como finalidade comparar diferentes algoritmos e, em ambos os testes, é utilizado um loop, a interferência dele acaba sendo desprezível. Existem várias outras coisas que interferem muito mais no resultado final que loop.

Testar a performance de trechos de código pequenos é extremamente complicado, já que diversos fatores interferem no resultado final. Tanto a JVM, o OS e o hardware podem fazer otimizações que só são possíveis quando o trecho de código é testado de forma isolada, mas não quando esse mesmo trecho faz parte de um sistema maior. Outros softwares sendo utilizados no mesmo ambiente no instante do teste também podem interferir na performance.

Nessa resposta de um dos links colocados por você, por exemplo, como a variável resultado não é utilizada para nada, está sendo apenas incrementada, é bem possível que a JVM defina isso como dead code, faça otimizações e não execute essa parte do código.

Outro problema que deve ser levado em conta é o não "aquecimento" da JVM (JVM Warmup). Como a JVM carrega algumas classes de forma lazy, o carregamento de determinadas classes poderia ocorrer dentro do intervalo onde a medição de tempo ocorre, interferindo no resultado final.

Além disso, o código não é executado necessariamente na ordem que é escrito. Sendo assim, não existe garantia de que a execução do algoritmo ocorra entre as medições de tempo.

Para escapar dessas e outras armadilhas no microbenchmarking, é necessário um conhecimento profundo da implementação da JVM onde o código é executado. Felizmente, existem ferramentas que levam esses e outros problemas em conta e eliminam ou, pelos menos, reduzem significativamente tais impactos no resultado final.

Duas delas são:

2
  • Interessantíssimo o Caliper. Pelo que entendi (ou pelos exemplos que percebi até agora), todo método anotado com @Benchmark recebe como parâmetro um inteiro para indicar o número de repetições. Ele não prevê uma maneira muito óbvia no meu ver de desconsiderar o impacto da gerência do laço, entretanto. Já a documentação do JMH eu ainda preciso de fato olhar, mas pela descrição ele parece bem adequado ao fim proposto, assim ele promete Commented 27/11/2017 às 15:44
  • Tive de parabéns leitura dos exemplos do JMH para compartilhar essa linha: hg.openjdk.java.net/code-tools/jmh/file/1ddf31f810a3/… Commented 27/11/2017 às 15:59

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .