3

Recentemente eu descobri que é possível obter uma performance imensa ao usar o cache do CPU. Um exemplo que eu vi era um programa que reduziu seu tempo de execução de 10 segundos para 200 milissegundos apenas usando esse conceito.

Como funciona essa obtenção de performance?

1 Resposta 1

4

Para o programador isso pouco importa, ainda mais se não usar linguagens que permite controle muito grande da memória, mesmo essas não podem fazer uso do cache diretamente, é prerrogativa do processador cuidar disto. O que dá para fazer é usar objetos de determinada forma para que seja mais provável que ele fique no cache, o que é algo difícil de fazer e não compensa na maioria das aplicações.

Para o dado ser usado de forma rápida ele precisa estar no registrador, mas nem tudo pode estar ali, existem poucos. Então existe uma memória próxima dali que tem um acesso rápido também, mas existe um processo para pegar a informação que tem um custo. Não dá para ser tudo uma coisa só porque a distância faria o dado demorar para responder, afinal o caminho a percorrer é maior. E se tudo estivesse nessa distância tudo seria mais lento, então o processador territorializa as áreas de acordo com a distância física.

Em processadores modernos costumam ser alguns níveis assim, então existe uma memória um pouco maior próximo desta última memória, que é um pouco mais distante e portanto mais lenta. Depois tem outro nível próximo desta um pouco mais distante que tem uma capacidade maior e é um pouco mais lenta. Pode ter até outro nível, mas não costuma compensar, já tentaram e desistiram.

Depois tem a RAM que já não está no processador, e pode ter outras formas intermediárias. Quanto mais perto de onde se processa e quanto mais simples o mecanismo mais rápido é. A RAM não deixa de ser um cache, mas a pergunta foca no processador.

No caso do processador é tudo transparente, ele vai colocando mais próximo do registrador o que é mais usado e o que é mais provável que será usado naquele momento. Em vez de acessar uma parte mais lenta ele pode acessar na parte mais rápido, isto é o cache e é isto que dá mais velocidade.

Tem diversas técnicas para facilitar isto e nem sempre são intuitivas, por isso não dá para dizer que tem uma receita simples e confiável. Em geral o ideal é ter melhor localidade de referência (que ninguém deu uma boa resposta, se não rolar agora, eu vou postar algo).

O termo CPU aqui não é bom porque ele não possui cache, apenas o processador possui.

Pode ser útil: O que faz a invalidação de cache ser uma solução difícil?.

1
  • Bem lembrado dessa pergunta de localidade de referência. Faz tempo que eu queria ter respondido algo sobre ela, mas esqueci de escrever ='D (E olha que gastei horas da minha vida pesquisando sobre) Commented 7/10/2019 às 12:41

Você deve fazer log-in para responder a esta pergunta.