Sei que classes são objetos em C#, e podem ser utilizadas de várias formas.
Classe não é um objeto. Classe é um modelo a ser seguido, objeto usa esse modelo para se estruturar.
Pense em tempo de desenvolvimento e tempo de execução. Classe é definida no primeiro, o objeto no segundo. Classe só existe no seu código, objeto só existe quando a aplicação está rodando. É uma simplificação, mas assim é fácil entender.
Comparando com banco de dados, a estrutura definida para uma tabela é a classe, cada linha dessa tabela é o objeto.
A classe em si, seria considerada uma entidade do sistema ou não? Se sim, acredito que a frase acima teria que ser diferente.
Sim, uma classe é um modelo de entidade do sistema. Não vejo porque deveria ser diferente. Do ponto de vista de arquitetura a classe é um modelo que representa uma entidade. Arquitetura só existe no papel, a concretização dela é que gerará objetos. Os objetos funcionam como entidades. Exemplo: a classe diz como os dados de um cliente devem ser organizados, mas um cliente só existirá de fato em objetos.
Assim como tabelas em DBs são entidades, classes são entidades na modelagem. Separe da sua mente o modelo do dado real.
Só tome cuidado porque em linguagens de programação mainstream onde lê atributo, entenda como campos, ou mesmo propriedades, já que o termo é usado para outra coisa.
Quando falamos de entidades, podemos nos referir somente a classe ou a qualquer objeto?
A entidade em si é o objeto. A classe é um tipo de uma entidade, ou em outras palavras, é uma classe de objeto. Classe vem de classificação, vem de generalização de um grupo de objetos com as mesmas características. A classe é uma abstração da entidade. Quando estamos falando da abstração, usamos o termo entidade, mas na verdade aquilo é um tipo de entidade.
Pense em um mapa. Apontamos para a cidade tal. Estamos apontando para uma abstração que representa a cidade naquela tela, mas ela não é a cidade. A cidade é uma entidade. No mapa tratamos aquela representação como se fosse uma entidade. O termo pode ser usado nos dois contextos, mas o mais correto seria dizer "representação da cidade no mapa". O importante é que se você fala só "cidade" em um mapa, todo mundo entende que aquilo é só uma representação.
Uma nota filosófica
Tecnicamente o objeto da aplicação também não é a entidade, apenas usamos o termo assim para facilitar. A entidade mesmo só existe no mundo real. Então um cliente é o cliente mesmo, é uma pessoa ou uma empresa. O objeto na sua aplicação funciona como uma figura representativa. Para sua aplicação o mundo real não existe. Tron só existe na ficção.
Coloquei no GitHub para referência futura.