Boa parte das perguntas específicas aqui já foram respondidas em outras perguntas.
Ponteiros são indireções. Eles podem ser chamados de apontadores. Como eles apontam para algo, eles são sempre um endereço de alguma coisa, de algum lugar. Embora possa ser usado em outros contextos, em programação de forma geral, esses endereços são de memória e apontam para objetos que estão nessa posição. Então podemos dizer que o ponteiro é a posição (coordenada) onde fica a sua casa. latitude e longitude, rua e número na cidade tal.
Um ponteiro costuma ter 4 ou 8 bytes e em dispositivos antigos, ou atuais bem limitados, podem ter 2 ou até 1 byte, salvo as arquiteturas exotéricas. Duvido que um dia precisará mais que 8 bytes que já permite endereçar mais que toda informação produzida no mundo atualmente em um único dispositivo, ou seja, pode endereçar 2 elevado a 64 posições. Nenhuma arquitetura atual sequer suporta nem perto disso.
Então ele é um número inteiro, de forma geral positivo, que indica a posição de memória de um objeto qualquer.
Ele pode ser armazenado em um registrador do processador, em algum nível de cache, RAM ou até em outro local, embora se ele for usado em um processo diferente ou persistido, é quase certo que algo não funcionará em outro momento de execução.
Assim como qualquer número armazenado, pode-se atribuir um nome no código para ele, ou seja, ele pode ficar em uma variável. Tecnicamente um ponteiro aponta para uma posição da memória, no nível mais alto essa posição pode até estar sendo indicada no código com um nome de variável.
A indireção é importante para dar flexibilidade e permitir uma série de truques que facilitam a criação de estruturas e algoritmos adequados para um requisito. Se não tivesse o ponteiro tudo o que você precisa teria que ser usado de forma linear, teria que copiar os dados que precisa duplicando-os, complicaria o gerenciamento da memória, o acesso seria extremamente lento (quase tudo que tem complexidade O(1) hoje teria que ser O(n), é uma diferença brutal), entre outros problemas.
Um array é viável por causa do ponteiro. A alocação dinâmica só funciona por causa dele.
Pensa no índice de um livro, ele tem ponteiros para as páginas onde aquela informação está no livro. Ou em um trabalho que você faz e diz em que página do livro foi obtido aquilo. Imagina sem essa informação como complica achar o que quer, teria que procurar no livro todo.
Ponteiro é um conceito abstrato que tem algum suporte do processador para lidar com ele. As linguagens de programação possuem formas de implementar o acesso aos ponteiros de forma um pouco mais fácil para um humano. Linguagens como C melhoram um pouco, mas não muito porque você ainda tem que mexer com o ponteiro.
Outras linguagens preferem, ou só permitem, usar uma referência, que no fundo é um ponteiro mais controlado.
O ponteiro do C# é um meio termo entre ponteiro e referência. É inseguro, mas não tanto quanto em C porque ele não permite acessar endereço arbitrário da memória sem controle. out
, ref
e o novo in
são referências, ou seja, são ponteiros para algum objeto na memória, mas não é possível manipular o ponteiro da forma que quiser, o compilador faz todo o trabalho e controle para você. Os objetos criados com classes e delegados usam referências, mas internamente são ponteiros.
Coloquei no GitHub para referência futura.