P: "Se existem 1000 clientes conectados no site fazendo requisições ao MySQL, então existem 1000 conexões MySQL?"
R: Somente se os 1000 iniciarem exatamente ao mesmo tempo uma navegação nas páginas que usam conexão com o DB. Depois de carregada a página na tela, a conexão já encerrou.
Normalmente as conexões são feitas no início do script que serve a página, e fechadas logo em seguida. É normal você ter 1000 pessoas usando o seu site simultaneamente, mas na prática acontecendo apenas 15 ou 20 conexões simultâneas. O tempo gasto por quem navega é muito maior na visualização e leitura das páginas do que clicando nos links e carregando dados, e é muito improvável que esses cliques aconteçam ao mesmo tempo com frequência.
Digo normalmente, pois o pesadelo dos hosts de hospedagem é a tal da conexão persistente, que é aberta num script e mantida em algum objeto de sessão para que outras páginas a usem. É uma prática não recomendada, pois prejudica a performance de todas as aplicações do servidor do DB, mas ainda é possível fazer em muitos hosts.
E se eu precisar realmente de muitas conexões simultâneas?
Existem muitas técnicas para se fazer a distribuição de carga, quando a aplicação demanda muitos acessos simultâneos, mas aí não estamos falando de apenas 1000 conexões simultâneas. Pode colocar mais alguns zeros neste número.
Eis algumas bem comuns:
Espelhamento / replicação da base de dados
Neste caso, você tem vários servidores de DB, e quando altera algo no principal, estes dados são copiados para os slaves. A vantagem deste método é que você divide os clientes por vários servidores, efetivamente multiplicando a capacidade pelo número de instâncias servindo o DB. Desvantagem: o espaço de armazenagem é proporcional ao número de servidores.
Distribuição de dados
Usando técnicas como map/reduce, você tem os dados distribuidos em várias máquinas, mas sem o espelhamento. Parte fica numa máquina, parte fica em outra, e sua consulta é mandada para vários lugares ao mesmo tempo, mas só o "pai da criança" devolve a resposta. Neste caso, você precisa já de um projeto mais avançado de gerenciamento de dados. A vantagem deste método é que você não ocupa o espaço com dados redundantes. A desvantagem é a maior complexidade na arquitetura. Exemplo: Google.
Caches / buffers
Você pode reter parte dos dados na aplicação, para não fazer consultas no servidor a todo momento. Um exemplo deste caso seria uma paginação de dados onde você carrega os dados e mantém no cache da aplicação, ou mesmo no browser, assim, quando a pessoa avança ou volta páginas, os dados não precisam ser recarregados. Exemplo: listagem de domínios de um usuário do Registro.br (seus domínios são carregados num único JSON, e quando você avança ou volta página, só está mudando a visualização, e não recarregando os dados)
Predição / early loading
Este caso é uma faca de dois gumes. Aqui você ganha performance, mas com o risco de carregar dados desnecessariamente. A técnica consiste em carregar mais dados do que precisa, pra quando a pessoa avançar para a página seguinte, ou rolar uma listagem, os dados já estarem lá. O problema neste caso é que você geralmente está sempre carregando mais dados do que necessita. A vantagem é que você fez isso ocupando o tempo em que o usuário está analisando os dados anteriores.