A linguagem de programação pouco influencia na performance final, na verdade a linguagem nada tem haver com a performance de maneira significativa, linguagens de programação podem ser bem usadas ou mal usadas, independente de quão bem ela foi projetada. Fatores que influenciam em perda de performance:
Código back-end mal escrito
Não aproveitar cache
Conexões no banco de dados sem necessidade
Frameworks que consomem muito do servidor para aplicações pequenas
Código front-end com um grande numero resources ou bibliotecas e CSS (que geralmente não são usados em todas páginias)
Um servidor (maquina+rede) fraco:
Geralmente um servidor shared é compartilhado com inúmeros clientes que hospedagem seus sites, na verdade a maioria das pessoas usam shared ou VPS (que também é compartilhado, mas tem um numero menor de clientes) pra hospedar seus sites, esse servidores geralmente não aguentam muito trafego.
Quanto mais usuários acessando melhor a máquina precisa ser e o tipo de servidor
Esses são alguns pontos, ou seja não adianta contratar o melhor tipo de servidor sendo que não vai usar tudo, a questão é planejar e projetar, se o site terá um grande trafego então terá que contratar um servidor melhor, desde um VPS até um dedicado.
Em todos casos o bom é sempre fazer proveito do cache, isso varia de linguagem pra linguagem (back-end), um exemplo que posso lhe citar é você fazer cache dos arquivos estáticos, como imagens, ícones, js, css.