Por meio do plugin YSlow do Firefox (depende de ter o Firebug também) cheguei a esta página:
http://yuiblog.com/blog/2007/04/11/performance-research-part-4/
. É de 2007, pode ter mudado bastantes coisas desde a publicação, mas apresenta um estudo exatamente sobre o que perguntou.
Em resumo:
Parte do principio que aumentando o número de domínios deve melhorar o tempo até carregar todos os elementos requisitados, porque a especificação HTTP/1.1 sugere que os navegadores deveriam baixar dois componentes em paralelo por hostname (apontado por Henrique acima). Este limite pode ser mudado via configuração tanto no I.E. quanto no Firefox (não há informação de outros), mas quem mexe no servidor não vai configurar nenhum navegador de cliente, e o modo de configurar não é muito user-friendly.
Só que os resultados do teste dele não foram exatamente os esperados. Tem dois testes, 20 imagens cada um, sendo um imagens pequenas e outro médias. Ambos tiveram melhoria no aumento de 1 para 2 hosts, porém o de imagens pequenas não teve impacto significativo ao aumentar mais o número de hosts e o de imagens médias teve impacto negativo! Sendo que com 3 hosts já ficava pior que com 1 host. No final ele chega à conclusão que o melhor deve ser de 2 a 4 hosts.
O CDN que o Vinicius citou ajuda bastante também, tentando diminuir a distância entre o navegador do cliente e a fonte do conteúdo requisitado.
Outro motivo para colocar mais hosts seria ter hostname(s) com conteúdo dinâmico e outro(s) com conteúdo estático, usando cabeçalho de expiração de conteúdo para que seja gravado em cache, mas isto pode ser feito em um único hostname por meio de configuração com o módulo mod_expires do apache por exemplo.
Se a intenção é saber o que melhorar em uma página para deixa-la mais rápida ou leve, o Firefox com o Firebug e o YSlow pode ajudar bastante, não conheço ferramenta semelhante em outros navegadores, mas deve haver.
Se tiver recursos disponíveis para fazer testes, o Safari (pelo menos no OS X) tem um recurso muito bom de cronometrar o tempo que leva ao carregar uma página indicando cada ação. Não estou certo, mas acho que já vi isto no Chrome no Windows também.