Se existem 1000 clientes conectados no site fazendo requisições ao MySQL, então existem 1000 conexões MySQL?
Não necessariamente. Mesmo que seu servidor de banco de dados suporte mil conexões simultâneamente fazendo requests, seria um grande desperdício de recursos se estes requests estivessem pedindo dados iguais.
Por exemplo, se seu site recebe 1000 requisições de dados durante um certo período de tempo, é provável que muitas requisições diferentes estejam pedindo os mesmos dados. É ainda bastante provável que durante esse certo período de tempo estes dados não tenham sido modificados.
Considerando isso, torna-se um desperdício de recursos, consultar o banco procurando algo já préviamente consultado e que não foi alterado.
A solução para esse tipo de situação é o caching dos dados.
Um servidor de banco de dados com caching implantado, armazena em memória a resposta de cada nova consulta a medida que são requisitadas, para que uma futura requisição semelhante não preciso ir até o banco de dados buscar o dado. O dado já já estará disponível em memória e uma nova consulta somente acontece se um dado previamente consultado foi modificado ou se ele não foi ainda previamente consultado e por isso não está na memória, não está no cache.
Portanto, num servidor com sistema de caching implantado, 1000 requisições significam 1000 consultas somente se elas pedirem por dados diferentes.