Como o Weslley Tavares mencionou, o desempenho acaba sendo melhor quando se utiliza CSS inline (que é definir o atributo style
diretamente na tag). Mas, a não ser que você esteja usando um framework que gerencie esses atributos pra você (mais ou menos o que o react.js faz), ou que você tenha escrito uma aplicação server-side que facilite isso, duvido muito que esse ganho de performance valha a pena, até porquê ele é praticamente nulo.
Partindo do pressuposto que você faz isso manualmente, acredito que o mais vantajoso seja o uso de classes. O uso de sprites somente já lhe trás um ganho enorme de performance, e o manuseio dessas classes - e do próprio HTML - tendo em vista manutenção e escalabilidade vai ser muito mais fácil, uma vez que você tenha isso em um arquivo separado. Este é o famoso decoupling. Aqui você pode ler um artigo (em inglês) bastante interessante sobre isso.
Outra coisa que é bacana mencionar, apesar de você não ter perguntado, é a diferença de performance entre o uso de IDs e classes. Já dei uma resposta sobre isso aqui, onde, basicamente, mostro que não há diferença (em termos de ganho, veja bem), a não ser que a sua aplicação seja extremamente grande. Então, quando a isso, você não precisa se preocupar.
Uma outra preocupação que você deve, sim, ter, é com relação a especificidade. Veja este exemplo:
div{
width: 100px;
height: 100px;
}
#testeID{
background: red;
}
.testeClasse{
background: green;
}
<div id="testeID" class="testeClasse"></div>
Veja que o ID é mais especifico que a classe, ou seja, as suas regras serão as que serão aplicadas, em caso de conflito. Caso eu faça
div{
width: 100px;
height: 100px;
}
#testeID{
background: red;
}
.testeClasse{
background: green;
}
<div id="testeID" class="testeClasse" style="background: blue"></div>
veja que, agora, a regra inline sobrescreveu a regra do ID. De maneira bem branda, a especificidade funciona assim
regra de tag < classe < ID < estilo inline
Nessa outra resposta, eu falo mais um pouco sobre especificidade, o que pode lhe trazer uma luz na hora de escolher como construir o seu código.