Sempre que se fala em performance de linguagem, faz sentido discutir isso quando se programa em Assembly, C, C++, até mesmo C#, Java, quem sabe Rust, D, ou Delphi.
Em PHP a solução é muito simples se precisa de performance da linguagem. Troque de linguagem. Este não é o ponto forte da linguagem. Ela é uma linguagem de script. Se está preocupado em atender milhões de requisições (que em geral não acontece) e acha que a linguagem tem papel fundamental nisso, mais que algoritmos bem feitos ou que já fez tudo o que podia nos algoritmos, então não será isto que resolverá algum problema, opte por uma linguagem mais escalável.
Sempre que quer saber o que tem performance melhor tem que medir. Medir certo. Saber que pode mudar de acordo com a implementação da linguagem. Não é algo que sempre será igual.
Sem conhecer a implementação exata destas formas vou chutar com base no meu conhecimento sobre computação e de como as linguagens costumam ser implementadas.
Acho que passar vários parâmetros deve ser o mais rápido porque ele só precisa ler os caracteres e enviar para a saída de forma simples. Note que a saída deve ser absurdamente mais lenta que ler os dados, então deve fazer pouca diferença.
Concatenar tem que criar uma nova string copiando os dois dados e depois fazer a leitura de todos os caracteres juntos para enviar para a saída. Isto é, se não tiver nenhuma otimização, o que acredito que não tenha mesmo.
Fazer interpolação de string, se não tiver otimizações, pode ser mais rápido que a concatenação, mas ainda dependerá de uma certa interpretação. Se o interpretador não transformar a interpolação em uma sequência, haverá um certo overhead, sem falar no próprio overhead gerado pela interpretação do que é texto e o que é código ali dentro.
Note que até mesmo o uso de aspas simples ou dupla afetará a performance da interpretação.