Leve em conta que certas otimizações podem afetar mais no desempenho do que você imagina. Por exemplo, se uma variável é definida, inicializada, modificada e tudo mais porém tudo de forma inútil (porque o seu valor não é realimente utilizado), a existência dela pode ser omitida juntamente com as instruções que computam seu novo valor. Essa é uma das mais violentas causas de bugs em medições de desempenho.
Sendo assim, calcular algo inutilmente pode levar o executável a não ter o cálculo, bem como até um laço pode ser simplificado a ponto de não ocorrer em execução. Sendo assim, para medir corretamente com otimizações você deve fazer um código que leve isso em conta. Por exemplo, acumule o resultado do cálculo de modo que todas as operações tenham relevância na definição do valor de uma variável e depois use essa variável de alguma forma que garanta sua utilidade, como imprimir seu valor (ou fingir que imprimirá, passando como argumento no printf mas não o incluindo na formatação do que será impresso). Como assim? Veja o exemplo a seguir.
int index , sum , chrono ;
chrono = time(0) ; // Mede ponto de partida.
for( index=0 ; index<999999 ; index++ ){
sum += index ; // Executa a instrução que quer medir.
}
chrono = time(0)-chrono ; // Mede intervalo.
//printf( "Terminou em %d segundos.\n" , chrono ) ;
printf( "Terminou em %d segundos.\n" , chrono , sum ) ;
Outra coisa, leve em conta que programas podem não estar 100% do tempo sendo executado na CPU, dilatando assim o tempo em alguns trechos. Há várias maneiras de contornar isso mas nenhuma é perfeita. Outra coisa que aumenta o tempo medido é a realização de instruções que mantenhammantêm o laço (condição, incremento) além do cálculo em si que você quer medir, o que se resolve fazendo uma medição particular dessas instruções excessivas para saber qual é esse tempo adicional. Mais uma coisa, se a primeira medição ainda estiver com resultados estranhos, faça então uma primeira medição fictícia e a descarte.
Alguma dúvida?