Exemplo: Tenho o Metodo1
e o Metodo2
ambos possuem diferentes processamentos e ações. Eu quero verificar quanto tempo cada um demora para ser executado.
Como faço isso?
A resposta atual ainda é útil, mas leia o final para uma forma mais indica atualmente.
Você vai usar o StopWatch()
.
using static System.Console;
using System.Diagnostics;
public class Program {
public static void Main() {
var stopwatch = new Stopwatch();
stopwatch.Start();
Teste();
stopwatch.Stop();
WriteLine($"Tempo passado: {stopwatch.Elapsed}");
stopwatch.Restart();
for (var i = 0; i < 1000; i++) Teste();
WriteLine($"Tempo passado: {stopwatch.ElapsedTicks}");
stopwatch.Stop();
}
public static void Teste() => WriteLine("Fazendo algo aqui");
}
Veja funcionando no ideone. E no .NET Fiddle. Também coloquei no GitHub para referência futura.
Note que medir a velocidade de uma única chamada costuma ter pouca relevância. Alguns fatores podem influir e dar resultado equivocado. Em alguns casos medir a quantidade de ticks do processador é melhor que o tempo.
O principal é não levar ele tão a sério. Medir o tempo gasto em condições controladas não é o mesmo que saber o tempo que levará em ambiente real. Medir sem ter condições controladas significa que você tem variáveis que podem não se repetir em outras condições fazendo a medição ser inconfiável. Ou seja, não confie tanto na medição.
Outro fator importante é saber que pode estar medindo errado. Até acertar o mecanismo de medição (muitos erram até isto) é fácil mas fazer o algoritmo certo do teste nem sempre é óbvio. Você pode estar testando a coisa errada.
É comum ver testes onde 80, 90% do tempo gasto não é bem o que está se querendo medir. Se quer saber quanto tempo o carteiro leva para entregar uma carta não comece medir quando posta a carta em outro estado.
Muitas vezes o problema é a definição do que se quer medir. Assim como muitas vezes o programador não sabe o que vai programar, muitas vezes ele não sabe o que exatamente testar. Eu já vi testes provarem que algo é rápido e quando usa de fato um recurso, ele se mostra um desastre.
E há situações que achar o meio certo de testar é virtualmente impossível.
Lembre-se que você pode estar testando algo que foi feito para ir bem em testes mas não em situações reais (Volkswagen?!?!?). E pior, vi algoritmos serem piorados de fato para atender um requisito de performance específico. me lembro de um caso nos anos 80 onde uma guerra de banco de dados fez a criação de um índice ser cada vez mais rápido em produtos concorrentes. E o acesso ao índice, que importava mesmo, era cada vez pior.
Medições valem apenas para aquela situação. Ou seja, se você estiver usando aquele códio em outra condição, pode ter resultado diferente. Se mudar a versão da biblioteca, compilador, runtime, etc. o resultado pode ser diferente. Se o sistema operacional ou o hardware for diferente, o resultado pode ser diferente. E não é algo linear. E quando falo em versão, não estou falando só de 1.0 para 2.0. Qualquer coisa que faça ter alguma diferença conta.
Por exemplo. Se você tem um processador com 1.6 Ghz e depois rodar o teste em uma máquina com 3.2 Ghz, não significa que terá o dobro da velocidade. O teste terá características próprias. Então um teste pode se comportar bem em um ambiente e pessimamente em outro. Isto vale para o número de cores, tamanho e forma do cache, quantidade e velocidade de memória, armazenamento de massa, qualidade dos outros chips, etc.
Prepare seu ambiente para ter o mínimo de interferência.
Em ambientes onde outras tarefas podem ser executadas pelo sistema operacional, o resultado será comprometido em algum nível. Os sistemas operacionais modernos costumam dar um tempo específico para uma aplicação executar e depois disto ela retornará para o agendador que pode entregar o processador para outra tarefa. Mesmo sendo muito curto o tempo que esta tarefa estiver executando será contado na sua medição, mas esse tempo não estava sendo gasto fazendo o que você está testando.
Idealmente o teste deveria ser feito em um ambiente onde a aplicação tenha domínio sobre o processador. Se não for possível, tente evitar interferências externas. Já vi muito teste ser completamente deturpado por causa do antivírus, por exemplo.
Nem preciso dizer que testar em modo de debug não ajuda muito.
Dependendo da plataforma, tecnologia usada, é possível fazer ajustes na instalação ou configuração para dar resultados mais precisos ou mais tendenciosos (sem ou por querer). Saiba tudo o que pode ser feito e escolha o que usar.
Obviamente precisa tomar cuidado com otimizações. Tem caso que o compilador pode detectar que algo pode ser removido e você pensa que está testando o que queria e está testando apenas um laço vazio, ou pelo menos esvaziado. E pior, pode até não estar testando nada, porque um compilador pode remover um laço vazio. De novo. Saiba como sua plataforma funciona.
Há casos que é interessante desligar certas otimizações. Mas se fizer isto de forma errada pode estar obtendo resultado fabricado.
Outro fator que influencia é o garbage collector. Todos devemos saber que não pode chamar o GC do .Net manualmente. Não vem ao caso agora porque. Mas então porque existe a possibilidade de fazer isto? Justamente para testes. É comum executar o GC antes de iniciar o teste para tirar a pressão da memória e ele acabar sendo chamado no meio do teste, alterando o resultado.
Mas pense bem, no mundo real ele pode ser chamado, certo? Porque eu deveria evitá-lo? Para ter um resultado mais limpo. Ainda fora do real, fora do pior caso. Em geral queremos testar o melhor caso.
Posso forçar o GC para medir uma situação onde ele é chamado? Poder, pode, mas provavelmente ainda não reproduzirá o caso comum em produção. Provavelmente colocará uma pressão extra que na execução real não terá. Ou seja, é muito difícil ter um resultado limpo, controlado, próximo da realidade.
Nem preciso dizer que o comportamento do GC também é um detalhe de implementação e o teste será diferente em diferentes versões ou modos de uso. E tenha em mente que ele operará de forma muito diferente em um teste simples e uma aplicação cheia de objetos. Por isso é melhor deixar ele de fora e medir o caso onde, na medida do possível, ele não opera a coleta. Até que se prove que deve fazer o contrário.
GC.Collect();
GC.WaitForPendingFinalizers();
Então se você não tiver memória suficiente, os resultado podem variar enormemente.
O tempo não é o único recurso escasso. Muitas vezes fazer mais rápido significa consumir mais memória, piorar e legibilidade, manutibilidade, segurança, etc.
Em geral medimos o tempo médio de execução em certas circunstâncias. Não analisamos o pior caso de uso, não analisamos o uso daquele recursos em uma situação quadrática. Em geral escolhemos uma maneira de usar e testamos isto.
É comum termos algoritmos que crescem geometricamente mas pensamos aritmeticamente. Então testamos ele fazendo 10 iterações e achamos que em 100 gastará 10 vezes mais tempo. Mas pode ser que gaste milhares ou até milhões de vezes.
Testar algo que está em sequência ou aleatório pode fazer uma enorme diferente. E pode acontecer de forma contra-intuitiva.
Testar o individual é bem diferente de testar o coletivo. Há casos onde o teste é feito em algo isolado demais. Eu já testei software na minha máquina e ficou ótimo, botei na máquina do cliente e ficou uma lástima.
A coisa piora muito quando há a possibilidade de paralelizar o processamento. Nem vou me aprofundar nisto.
Fica óbvio que você não pode rodar o teste uma vez e obter um resultado confiável. Por outro lado no uso real provavelmente é assim que ele será usado. Claro que a utilização em baixo volume significa que a performance não é crítica e você está testando só por curiosidade.
Especialmente em .Net a primeira execução pode custar bem mais cara que as demais por causa do JITter. Alguns gostam de fazer uma execução do código a ser testado antes de testar ele puramente. Assim isola o caso pior da primeira execução. Quando você repete o teste muitas vezes, isto é passa interferir pouco. Mas há casos que interfere bastante. Há casos que o cache, a localidade da informação, pode fazer uma enorme diferença.
Quando você executa um testes repetidas vezes terá o custo do laço artificial que contra a repetição. Isto é satisfatório? Em condições reais haverá um laço semelhante? O custo do código a ser testado é tão baixo que o laço está interferindo profundamente? É possível calcular confiavelmente o custo do laço vazio e retirar do processamento total?
Repetir muitas vezes evita o erro de parar o relógio na hora errada. Podemos querer economizar código e deixar mais alguma coisa executar antes de apresentar o resultado, ou iniciar outro teste antes de fazer toda preparação. Isto afetará o resultado em uma execução, mas se executar milhares, isso será irrisório.
Há casos que ainda é interessante rodar o teste mais de uma vez para ver se ele dá resultados muito diferentes em cada tentativa. Isto é diferente de repetir a execução do código a ser testado. Aqui falo de repetir o teste. Manualmente mesmo.
Viu que no teste acima foi usado o Stopwatch
? Não meça tempo de execução com um relógio e sim com um medidor de tempo de processamento. Ele tem mais resolução. O relógio é feito para mostrar horas em algum momento, ele não necessita precisão. Ele até seria aceitável em testes que durem minutos. Mas pra que usar algo pior? Aí evite fazer testes durante a mudança do horário de verão :) Você pode ter um teste que leva tempo negativo ou leva mais de uma 1 hora :)
Não é a toa que ele está no Diagnostics
. Ele também não é tão preciso assim. Em geral fica na faixa de dezenas ou até poucas centenas de ticks do processador. É muito mas não é "microscópico". Dá para saber a resolução com Stopwatch.Frequency
.
Evite usar ElapsedMilliseconds
a não ser que saiba que tem o teste nunca passará de centenas de milisegundos. Ele trunca o resultado quando passa de um segundo.
Faz pouca diferença usar Elapsed
e ElapsedTicks
. O primeiro é apenas um cálculo baseado no segundo. Se usar um Elapsed
, pode ser mais interessante pegar exatamente o que quer dele, ticks, segundos, milisegundos, minutos, total de segundos, etc. Ele é um TimeSpan
.
O intuito da pergunta aqui foi medir o tempo de execução do método. Pode ser que o certo é usar uma ferramenta de profilling e não testar a execução.
Recomendo fortemente o uso da biblioteca BenchmarkDotNet para fazer estas verificações. Na época da resposta eu não conhecia ou não estava disponível.