Unir e minify
Extremamente recomendado unir os Css e JS o mínimo possível.
Os navegadores podem fazer de 6-8 requisições por segundo, quanto mais arquivos tiver, terá block no download.
Após unir o CSS's e JS's recomendo minificar ele, em sites como:
https://cssminifier.com/
https://jscompress.com/
OBS: unir o arquivo jquery com outros arquivos pode acontecer problemas, caso aconteça, coloque o jquery por CDN;
OBS²: Quando não puder unir arquivos pense no CDN, são sempre uma excelente forma de carregar arquivos.
Claro que existem ferramentas para automatizar esses processos.
Compactar Gzip
Se estiver utilizando o IIS
http://www.andrecarlucci.com/dev/como-habilitar-compressao-gzip-no-iis/
Caso contrário procure como "Habilitar Compactação de cabeçalho Gzip"
Tamanho das imagens.
Verifique sempre o tamanho das imagens, normalmente elas podem ser o grande vilão. Já vi sites com imagens na casa dos 900kb.
Utilize uma ferramenta de testes
Por fim, a melhor coisa é utilizar alguma ferramenta para testar o desempenho e verificar se ouve melhoras e o que falta fazer, o próprio Chrome existe ferramentas ótimas.
Caso queira recomendo uma simples e eficaz
https://developers.google.com/speed/pagespeed/insights/