Para o programador isso pouco importa, ainda mais se não usar linguagens que permite controle muito grande da memória, mesmo essas não podem fazer uso do cache diretamente, é prerrogativa do processador cuidar disto. O que dá para fazer é usar objetos de determinada forma para que seja mais provável que ele fique no cache, o que é algo difícil de fazer e não compensa na maioria das aplicações.
Para o dado ser usado de forma rápida ele precisa estar no registrador, mas nem tudo pode estar ali, existem poucos. Então existe uma memória próxima dali que tem um acesso rápido também, mas existe um processo para pegar a informação que tem um custo. Não dá para ser tudo uma coisa só porque a distância faria o dado demorar para responder, afinal o caminho a percorrer é maior. E se tudo estivesse nessa distância tudo seria mais lento, então o processador territorializa as áreas de acordo com a distância física.
Em processadores modernos costumam ser alguns níveis assim, então existe uma memória um pouco maior próximo desta última memória, que é um pouco mais distante e portanto mais lenta. Depois tem outro nível próximo desta um pouco mais distante que tem uma capacidade maior e é um pouco mais lenta. Pode ter até outro nível, mas não costuma compensar, já tentaram e desistiram.
Depois tem a RAM que já não está no processador, e pode ter outras formas intermediárias. Quanto mais perto de onde se processa e quanto mais simples o mecanismo mais rápido é. A RAM não deixa de ser um cache, mas a pergunta foca no processador.
No caso do processador é tudo transparente, ele vai colocando mais próximo do registrador o que é mais usado e o que é mais provável que será usado naquele momento. Em vez de acessar uma parte mais lenta ele pode acessar na parte mais rápido, isto é o cache e é isto que dá mais velocidade.
Tem diversas técnicas para facilitar isto e nem sempre são intuitivas, por isso não dá para dizer que tem uma receita simples e confiável. Em geral o ideal é ter melhor localidade de referência (que ninguém deu uma boa resposta, se não rolar agora, eu vou postar algo).
O termo CPU aqui não é bom porque ele não possui cache, apenas o processador possui.
Pode ser útil: O que faz a invalidação de cache ser uma solução difícil?.