Primeiramente, apenas como sugestão para facilitar o entendimento do seu modelo, sugiro que chame sua classe de "Disciplina". Chamar de "Classe" é confuso porque todas elas são classes (em termos de OO) e "Matéria" na verdade são os assuntos abordados em uma disciplina.
Avaliando os cenários que você propôs:
1) Caso você use uma lista de Disciplinas como atributo da classe Estudante, você delega à classe Estudante qualquer alteração em suas Disciplinas. Nesse caso, você estaria aplicando o conceito de Encapsulamento, ou seja, a responsabilidade por conhecer os detalhes da implementação estaria oculta na classe Estudante.
Responda às seguintes perguntas para saber se a abordagem acima atende ao seu caso de uso:
Quais são as regras de negócio aplicáveis ao caso de uso? Por exemplo, há um número mínimo/máximo de estudantes por disciplina, ou um número mínimo/máximo de disciplinas por estudante?
Há disciplinas que possuem outras como predecessoras, sendo preciso consultar se aquele Estudante já cursou todas as predecessoras antes de matricula-lo?
Nesses exemplos, os métodos da classe Estudante seriam responsáveis por esse controle, independente de que outra classe estiver alterando as disciplinas para aquele estudante.
Portanto, lembre-se que os objetos têm dados (atributos) e comportamento (métodos), sendo esse último a principal diferença entre os objetos e estruturas de dados simples.
Um modelo no qual as classes de domínio apenas guardam seus atributos e referências umas às outras e todos os processos ocorrem fora dessas classes, é um anti-pattern conhecido como Anemic Domain Model.
Logo, não adianta apenas esconder a lista de disciplinas dentro da classe Estudante e construir diversas outras classes para manipular as alterações dessa lista, pois você estaria quebrando o encapsulamento.
Com relação à performance, é você quem decide, a cada momento, se deve construir um objeto Estudante com todas as Disciplinas (Eager Fetch), ou apenas com os dados básicos do Estudante (Lazy Load). Na verdade, não consigo imaginar uma instituição de ensino onde o número de estudantes ativos e de disciplinas seja tão grande a ponto de impactar a performance da aplicação. Caso você venha a ter alguma lentidão, provavelmente será por outro motivo, como código não otimizado, erro na configuração do servidor, hardware subdimensionado etc.
2) Caso você use uma estrutura de dados, como um TreeMap, relacionando listas de Estudantes a cada objeto Disciplina, possivelmente você verá esse TreeMap sendo passado como parâmetro de um lado para outro em vários métodos. Todos esses métodos teriam que implementar os controles existentes na relação entre esses dois objetos, ou pior, seria preciso uma terceira classe, especialista em Estudantes e Disciplinas, só para isso.
Como uma de suas preocupações é com a segurança, como garantir que todas as partes do código que usam esse TreeMap vão obedecer todas as regras?
De que classe seria a responsabilidade de comparar os dados desse TreeMap com outros dados, por exemplo, outro TreeMap com as disciplinas predecessoras já cursadas por um Estudante?
Um critério que também pode te ajudar a tomar este tipo de decisão de design é verificar se a implementação proposta faz sentido no mundo real.
Faz sentido um estudante saber em quantas disciplinas ele deve se inscrever? Ou saber que não pode se inscrever em mais de X disciplinas?
Faz sentido um estudante saber responder que disciplinas ele cursa?
Faz sentido um estudante pedir para sair de uma disciplina?
Dada uma disciplina, faz sentido um estudante saber quem é o professor, caso curse aquela disciplina?