Conceitos
A parte de ponteiros é bem avançada e quase ninguém usa, é pra situações muito específicas. O que está na pergunta não tem nada realmente que fala de ponteiros, por acaso tem ponteiro internamente, mas você não precisa saber disso e nem precisa obrigatoriamente tê-lo se a linguagem quisesse fazer diferente.
Um ponteiro não armazena um endereço de memória, ele é um número que é um endereço de memória. Quem armazena algo é uma variável.
Ele aponta para onde está um objeto entre os, chamados, tipos por referência. Um array é um desses tipos, mas os tipos por valor são o oposto disto, eles nunca se envolvem com ponteiros (até tem caso muito específico de aliasing, mas não vamos envolver isso na estória). Se pesquisar, principalmente entre as minhas respostas, falo muito disto.
Dados não são armazenados por ponteiros, objetos são apontados por ponteiros, veja segundo parágrafo.
O ponteiro, que é um endereço, fica onde ele precisa ficar, não existe isso de ficar na pilha, uma boa parte fica no heap mesmo. Se você tem um tipo por referência dentro de um objeto que está no heap, onde estará o ponteiro desse objeto? No heap, claro.
Sugiro estudar melhor vários conceitos equivocados já que isso fará entender todo o resto equivocamente. A maior parte deles tem respostas aqui no site mesmo.
Trabalho do GC
Se um local que tem um ponteiro deixar de existir em algum momento por alguma razão, e portanto ele não aponta mais para um objeto, em algum momento do tempo de vida da aplicação (pode ser só no final) o objeto será liberado da memória. Você não tem controle sobre quando isso ocorrerá.
O GC poderá em algum momento ser disparado e é quase certo que o objeto será descartado por que não tem mais um ponteiro apontando para ele. Mas note que não pode ter nenhum ponteiro apontando para ele, se um ponteiro deixou de apontar mas outro continua apontando então o objeto não será descartado.
O GC geracional do .NET pode e costuma mudar os objetos de lugar por uma série de razões que não vem ao caso aqui, mas já respondi sobre em vários lugares. Então um ponteiro para esse objeto precisa ser atualizado para refletir o novo endereço do objeto. O GC do .NET faz tudo isso sem você saber e de forma segura, por isso seu ponteiro (que você nem precisa saber que existe, lembra?) sempre estará válido. Ele nunca apontará para um objeto errado. Não faz sentido ele ficar perdido, isso é problema do GC, você não tem que saber nada sobre isso quando faz uma aplicação. Só precisa saber desses detalhes se for trabalhar com o GC internamente.
Invalidade
Pode haver invalidade em algumas situações em contexto unsafe
mas é o que eu falei no começo, quase ninguém usa isto.