Porque eles não precisam ser :) Há motivos de eficiência para alguns tipos serem por valor.
Herança é algo um pouco mal-entendido e o fato de Object
e ValueType
serem classes dá uma indicação um pouco diferente do que essas classes realmente são.
Eu tenho certeza que se as interfaces permitissem implementação nos métodos como permite desde C# 8, esses tipos seriam interfaces e não classes (na verdade precisaria ser um pouco diferente do que foi implementado na linguagem, mas foi implementado com limitações por causa de compatibilidade, no início ela poderia se mais poderosa).
Classes definem objetos, interfaces definiam, e agora implementam, capacidades. Então é interessante ter um tipo único que todos derivam, não para pegar uma estrutura pronta, mas sim para pegar capacidades que todos os objetos devem ter. Object
e ValueType
só emprestam capacidades para os objetos, então eles poderiam ser interfaces, você só precisa desses tipos para indicar um contrato e eventualmente uma implementação padrão de alguns métodos para não obrigar todos os tipos implementarem algo.
Pode ver no fonte deles (linkei acima) que não há uma estrutura (estados), se você herdar dele e não adicionar algo extra terá um objeto sem utilidade específica. Há contratos e comportamentos definidos neles, mas não estado, e sem estado de fato não temos um objeto funcional.
O caso de Object
até tem um motivo extra para existir como classe, você pode usar esse tipo para criar um objeto real sem determinação do que é, mas tem pouco valor e tem outras soluções para isso se ele virasse interface. O caso de ValueType
tem zero motivos para ser uma classe, tanto que é abstrata, tinha motivo na época do 1.0 porque na interface não permitia implementação que tem dentro dele.
Bom ler Diferença entre herança de tipo e herança de implementação.
Uso do heap
Alocar no heap custa caro (na verdade o problema mais é a liberação do objeto quando não precisa mais), põe pressão no garbage collector, ocupa mais espaço para gerenciar a alocação, é mais complicado de acessar, sempre que puder evitar isso é bom fazer.
Mesmo quando vai alocar um tipo no heap porque ele estará dentro de outro objeto é ruim se tiver uma indireção quando ele é simples demais. Esse é um dos problemas de Java usar muita memória e em alguns casos não conseguir ser tão rápida.
Hoje algumas pessoas consideram que C# deveria permitir dizer se alocará no heap ou na stack, mas de fato isso complicaria um pouco o uso da linguagem, apesar de dar mais controle. É uma pena que todos os tipos por referência baseados em classe sejam colocados no heap (hoje tem tipo por referência alocado na stack, mas possui limitações por ser uma struct
).
Boxing
Um dos problemas dessa otimização é que se você tiver um contexto que espera que um objeto seja por referência (por causa de polimorfismo ou outro motivo), então a única forma de acessá-lo, do jeito que foi implementado, é transformar o objeto em um objeto por referência, que é o tal do boxing, a linguagem pode sozinha fazer isso para você, e você tem uma ineficiência sem perceber.
Tipos por valor não foram bem implementados em C# (não é fácil melhor que isso sem complicar a linguagem), só não é pior que Java que nem tem (ou não tinha). Eles ajudam muito e em boa parte das situações, com cuidado, eles são ótimos e você não vê defeitos, mas quando tem, eles podem ser invisíveis.
Um dos grandes problemas do boxing é ele fazer um new
por conta própria, você não vê o que está acontecendo. Mas tem ferramentas que ajudam dizendo quando isso acontece. Mais difícil quando o boxing ocorre em uma função mais interna, ou seja, não é o seu código que faz o boxing, é o de outro componente que você consumiu que faz.
Em muitos códigos nada disso importa, mas se precisa de máxima performance tem que tomar muito cuidado.
O boxing existe justamente porque um tipo por valor não tem a mesma estrutura interna de um tipo por referência. Um tipo por referência que vai no heap sempre tem um estado interno oculto e que a linguagem trata de forma especial. Veja mais em Qual o tamanho mínimo de um objeto na memória?.
Você pensar que se tudo posse por referência então não haveria boxing. O fenômeno específico não, mas é que tudo já estaria encaixotado, você não teria otimização alguma em todas as situações.
Bom ler Alocação de memória em C# - Tipos valor e tipos referência e Qual a diferença entre Struct e Class?.
Coloquei no GitHub para referência futura.