PHP trabalha com gerenciamento automático de memória, ou seja, tem um
garbage collector. Então em essência não precisa se preocupar muito. Não quer dizer que não precise de nenhuma preocupação, mas em PHP é quase nunca.
Por uma razão básica, PHP foi criada para executar scripts, e se você não usar para outras coisas não terá problemas. Um script roda por frações de segundos, eventualmente alguns segundos. Não dá tempo da memória sair do controle. Mesmo que o gerenciamento de memória fosse só, aloca, aloca, aloca, e desaloca apenas no fim dele, quase em 100% das situações não terá problemas de memória. E onde teria problemas, talvez por contar com pouca memória disponível, um gerenciamento muito estrito e apertado, como ocorre com C por exemplo, provavelmente não ajudaria muito, porque é uma situação que precisa de muita memória de qualquer jeito.
Então fora esses casos, usando PHP em servidor web, seu código não faz cosquinha na memória. E se a memória estourar, provavelmente será necessário adotar uma estratégia bastante complexa para resolver, porque provavelmente está sendo ocupada demais em apenas uma tarefa não facilmente divisível.
Claro que tem alguns erros como por exemplo carregar de uma só vez todo conteúdo de um arquivo potencialmente grande. Quando você tem restrições de memória tem que fazer isso aos poucos, tem que ter um gerenciamento específico. Ou só proibir algo tão grande. Mas é raro acontecer algo assim.
As técnicas mais 'modernas' que algumas pessoas usam podem contribuir para sujar um pouco mais a memória, criando objetos demais, mas não vão mudar quase nada em condições normais. De qualquer forma usar PHP como a linguagem foi criada originalmente, para scripts simples para criar uma página é uma ideia interessante para economizar memória, mesmo que isso não seja significativo. Em PHP 4 está mais tranquilo, até a linguagem economizava memória. Só está um pouco inseguro para os dias atuais, mas dá para usar.
Em alguns casos que o script está fazendo muita coisa, muito IO, pode ser interessante ter certeza que fechou uma operação antes de começar outra, se possível para liberar memória.
Os caches e assemelhados não farão muito pela memória. É frequente até piorar essa situação, eles ajudam na performance, em alguns casos.
Em aplicação de larga escala precisa memória sobrando, nem tente em algo limitado, porque vai estourar.
Existem técnicas em cada uso específico que podem ajudar, mas aí é complicado listar cada uma delas, são centenas ou milhares.