Eu entendi que estava falando de velocidade de execução. Então a resposta é que não deve considerar o desempenho para micro-otimizações.

Entenda que linguagens não possuem velocidade. No máximo elas têm filosofia que facilita ou não ter velocidade. Implementações já possuem um pouco mais. Mas nem tanto. Muitas vezes a performance está na biblioteca usada.
É possível algo pontual em PHP ser mais rápido que Java. Por que? Java tem poucos, mas alguns custos que uma linguagem mais baixo nível, como C, tem. Se uma função do PHP puder ser escrita em C, e muitas da biblioteca padrão são, e não tiver que ficar acessando muito a máquina virtual de execução do PHP, é possível que essa função consiga ser mais rápida, desde que a função seja muito bem escrita. Estou falando em tese, na prática não vejo isso ocorrendo muito.
É possível PHP rodar mais rápido e com HHVM pode melhorar. Hoje menos, porque a implementação de PHP melhorou muito. Tem várias ferramentas que ajudam. Mas ela tem outras questões que não podem ser resolvidas sem a linguagem se transformar em outra coisa. Em PHP 8 vai melhorar mais.
Aqui vai uma verdade cruel que muitos amadores de PHP (sim, eles amam a linguagem) odeiam ouvir: as pessoas envolvidas com o desenvolvimento da linguagem não são os melhores engenheiros do mundo, não possuem uma base teórica de linguagens muito adequada, e pegaram um legado complicado, fora que não possuem os recursos necessários para criar uma linguagem extremamente rápida.
Note que os benchmarks que mostram melhorias em PHP desconsidera a carga que piorou muito por fazer uma pré-compilação e otimização. Quando compara o todo, onde PHP é usado o todo é muito mais importante que em outros tipos de aplicação, o ganho não é tão grande assim. Nunca se esqueça que as pessoas que gostam ou produzem uma tecnologia vão usar medições que melhor atendem suas necessidades de marketing, o que é legítimo, só não perca isso de vista.
Acredito eu que, quando dizem que o PHP não se foca em seu desempenho, seria em comparação a outras linguagens/tecnologias?
Sim, sempre tem que ser comparando com outras linguagens. Mas ninguém disse que PHP é a linguagem mais lenta que existe. E melhorou. PHP é mais rápida de Ruby (implementação padrão e atual), mais rápido em algumas coisas que Python, ganha em alguns pontos de Lua (embora LuaJIT já não costuma ocorrer), e perde feio para JavaScript (NodeJS para comparar com backend). Ela não chega perto em quase tudo quando a comparação é com C/C++, C#, Java, D, Rust, Delphi, Go, VB.NET, F#, etc.
Isso seria sobre o PHP ser uma linguagem interpretada?
Um dos principais motivos. Mas também por ter tipagem dinâmica (provavelmente o maior motivo em execuções mais longas), por isso tudo tem que ser verificado internamente antes de executar. Algumas otimizações não são possíveis por causa disto, e por ser interpretada também.
Também por ter mecanismos fit all. Essencialmente não tem estruturas de dados diversos, tem o array associativo e serve para tudo. Até tem umas estruturas diferentes, mas são terrivelmente implementadas.
Tem uma série de decisões equivocadas que fazem a linguagem não ter o desempenho que poderia.
Pense que tem uma carga, uma preparação do ambiente e a compilação do texto para depois executar.
Somente o PHP ou todas as linguagens interpretadas ou correlacionadas?
Todas que seguem a mesma filosofia. Não é possível bater a performance de um código gerado por um bom compilador e que "tudo" é resolvido em tempo de compilação.
É possível fazer linguagens interpretadas terem uma execução final bem interessante e em alguns casos até bater linguagens compiladas. Mas é extremamente difícil, custoso e quanto melhor for resultado de execução pior será o tempo de carga. Em execução de script isto tende a não compensar muito.
Hack é o PHP compilado e de tipagem estática, é muito mais rápido. Mas poderia mais se não quisesse manter boa compatibilidade com PHP.
É dito isso porque o PHP não foi feito para ser rápido. Simples assim. PHP foi criado para ser fácil e ter entrega rápida, abrindo mão da performance, que em aplicações web, não é crítica. Se precisa de performance não use PHP, assim como se precisar martelar um prego, não use um alicate.
Concordo com a ideia geral, mas performance para web só não é crítica para coisas muito simples. O que faz todo sentido usar PHP. Mas não faz sentido fazer OOP com PHP.
Quando é algo de muito acesso, tem muito o que fazer, performance é crítico por custa mais caro manter infraestrutura que dê conta de algo mais lento. Pior ainda pode precisar soluções extremamente mais complexas para distribuir o trabalho, e isto custa muito caro. As pessoas nem percebem que estão pagando mais caro do que deviam. Ou que não precisam da tecnologia que estão usando.
Nem estou falando do custo de oportunidade que é perder um usuário porque demorou para responder.
Esqueça desempenho no PHP
Obviamente isso vale pra micro-otimização. PHP se beneficia de ganhos macro. Escolher a forma de fazer pode dar ganhos interessantes.
Por que não focar em desempenho no PHP
Porque o ganho será pequeno e o custo será enorme. A linguagem não ajuda ganhar desempenho e tem custo que não tem o que fazer que inda serão o grosso do tempo de execução. Em algumas linguagens é possível ganhar em 80, 90% do caminho do código. Em PHP costuma dar um máximo de 50, 60%, muitas vezes menos.
Também pelo fato que a maioria dos websites tem pouco acesso e não precisam desse ganho. Justamente por ter pouco acesso não compensa gastar muito com ele. Dar performance custa mais caro.
um projeto que faz acesso a um banco de dados terá o tempo de acesso ao banco muito maior que o tempo de execução do código PHP
Isso nem sempre é verdade, especialmente em códigos PHP porque é comum o programador desta linguagem não entender todos os custos. Se ele fizer algo complexo em PHP que poderia ser feito no banco de dados, e vejo isto ocorrendo demais, em PHP custará mais caro que em C# ou Java.
Agora, uma questão importante é que PHP quase invariavelmente acessa banco de dados. Há outras linguagens que não. Quando não tem IO o ganho de performance é mais importante. De fato, IO gera um custo que faz ganhos de desempenho menos relevantes.
Pra resposta ficar completa preciso citar o comentário do Isac:
a maior parte das questões de "Como posso melhorar o desempenho disso?" focam micro optimizações quase sempre irrelevantes para o cenário em questão. Coisas como "usar uma variável a mais ou não neste caso ou não?
Coloquei no GitHub para referência futura.