Cache é algo meio abstrato, existem várias otimizações que você pode fazer em um sistema que se encaixam bem nessa palavra, como:
- Cache de páginas estáticas
- Cache de consultas ao banco de dados
- Cache de respostas de serviços
- Cache de opcodes
Acho que em boa parte dos casos, tanta preocupação com otimização é desnecessária, embora algumas façam parte das boas práticas de programação.
Tudo depende da carga do seu sistema. Se você está tendo problemas de performance (muito uso de banda, processamento, memória, espaço em disco, etc.), comece a fazer otimizações no sistema partido das mais simples para as mais complicadas.
Existem algumas dicas genéricas e bem fáceis de se implementar como:
- Sempre fique atento para os dois maiores vilões da performance: acesso a rede e acesso a disco.
- Algumas técnicas como o armazenamento em cache de arquivos estáticos no navegador do cliente usando cabeçalhos podem aliviar seus problemas com excesso de uso de banda.
- Importar bibliotecas comuns de CDNs de terceiros também pode ajudar um pouco com banda (Exemplo: https://developers.google.com/speed/libraries/devguide)
- Evitar o uso de
SELECT *
ou adotar tabelas ARCHIVE ou MEMORY num sistema baseado em MySQL pode agilizar consultas.
E por aí vai...