TL; DR
Ponteiro é um mecanismo com baixo nível de abstração que contém um endereço de memória para um objeto qualquer. Esse endereço é o foco dele e esse valor pode ser manipulado livremente pela aplicação como um dado qualquer. Muitas linguagens escondem totalmente sua existência.
Referência é um conceito mais abstrato e nem sempre visível na linguagem. Ela cria um conjunto de dados formado pelo objeto que é o seu foco e a referência que indica onde o objeto está. Essa referência pode ser composta por um ponteiro. A manipulação da referência é limitada, inclusive porque ela dá preferência para a manipulação do objeto.
São duas maneiras de conceituar algo muito parecido e muitas vezes o mesmo. Isto tem implicações nos detalhes de uso, mas servem pro mesmo propósito.
Introdução
Eu não tenho informações baseadas em estudos confiáveis publicados, então para responder eu me baseio principalmente na Wikipedia e no que sempre aprendi.
Vou tentar dar uma interpretação universal que me parece ser a intenção da pergunta e não para uma tecnologia específica e mostrar quando é algo especifico de uma linguagem sem entrar em detalhes.
Ponteiro
Ponteiro (em inglês) é uma construção mais concreta. Ela existe mesmo no nível mais baixo da programação. Um processador manipula ponteiros. Conforme a Wikipedia, um ponteiro - ou apontador para os gajos e gajas do velho continente - é um valor que se refere a outro valor alocado em outra área da memória.
Eu não gosto muito dessa definição por que ela implica que ponteiros só apontam para dados. Ok, qualquer coisa no computador de alguma forma pode ser considerada um dado, até mesmo código. Mas é uma interpretação ambígua. Por isso prefiro ver o ponteiro como um apontamento para alguma área da memória.
Porém, gosto que ele cita a memória. Me parece que o conceito de ponteiro seja mais específico para a memória. Ainda que eu mesmo utilize o termo em outras situações, me parece mais adequado que ele seja usado apenas para o tratamento de memória.
Algumas linguagens permitem manipulação direta de ponteiros em maior ou menor grau. Podemos dizer que essa é uma das formas que ajudam classificar linguagens pelo seu nível de abstração. Ou seja, se a linguagem manipula o ponteiro de forma muito liberal, concreta e direta, a linguagem é mais baixo nível, como é o caso dos Assemblies. Outras linguagens como C, C++, D, Rust, Go, Pascal, só para ficar em alguns exemplos, também fazem uso liberal dos ponteiros mas com algumas limitações e cada uma delas com menos incentivo, fornecendo outras formas mais abstratas de obter o mesmo resultado. Outras linguagens abandonam completamente a manipulação de ponteiros, como o Java, Python e JavaScript. Outras impõem grandes limitações, como o C#. Essas linguagens são mais alto nível.
Provavelmente C é a linguagem mainstream que mais incentiva e que mais popularizou o uso de ponteiros. De fato C não possui referências (diretamente). E muitas definições do que é ponteiro irão se confundir com o que se usa em C.
Ponteiros são sempre valores, então parâmetros do tipo ponteiro são passados por valor, ou seja, o endereço guardado no ponteiro é copiado. Há uma independência do que ele está apontando. Quando você se refere ao ponteiro, está se referindo ao endereço contido nele. Se quer o objeto deste endereço, precisa explicitar isto.
É comum usar ponteiros para obter performance, afinal ele se aproxima o processamento concreto. Uma das operações comuns em ponteiros é a aritmética, assim manipula o acesso às posições de memória de forma muito fácil e rápida. Claro que sempre há o risco de alguma operação ser irregular e causar resultados indesejados. Ponteiros não costumam ser seguros para manipular indiscriminadamente. Embora sua flexibilidade de fazer, até mesmo, operações potencialmente irregulares é que dá grande poder a ele. Grande poder, grandes responsabilidades. O programador tem que saber tudo o que fazer e como fazer. Ele não automatiza "nada".
Mas não se engane, o ponteiro ainda é uma abstração. O ponteiro é uma forma de se referenciar objetos na memória.
Referência
Uma referência (em inglês) me parece ser algo mais amplo. Você pode ter referências para algo que vai além da memória. Mesmo na memória você pode ter referências que por si só ainda não podem ser considerados ponteiros. Referência, como o próprio nome diz, se refere a algo, mas esse algo pode ser mais livre. O artigo da Wikipedia diz que ela é um objeto que contém informação que indica dados armazenados em algum outro local ao invés de conter o próprio dado.
Uma referência é composta de duas partes. Um endereço que indica onde o dado está e o próprio dado. Isto é diferente do ponteiro que não tem uma relação direta com o dado. Você não faz muitas operações com referências, não tem aritmética, por exemplo. Você pode trocar o valor da referência mas não pode manipulá-lo livremente. Claro que em memória uma referência direta provavelmente será implementada através de um ponteiro. Mas é possível ter uma referência que não seja um ponteiro.
A referência é um conceito mais abstrato e por isto, dependendo de como ela será usada, esse nível de abstração pode ser um pouco diferente. A forma como se lida com esta referência pode ser diferente. Em alguns casos o programador talvez possa até ignorar que aquilo seja uma referência.
Uma coisa que aprendi lendo os excelentes artigos do Eric Lippert é que uma referência deve ser interpretada como um alias para um dado, para um objeto.
Ou seja, é só um nome que damos para o objeto, por isso ela sempre é uma variável. E você pode ter quantos aliases quiser para ele. Ter apenas um alias tem implicações na forma como o dado será manipulado. Claro que internamente esse alias provavelmente será manipulado com ponteiros mas a forma será diferente e principalmente, não será problema do programador.
Quando dizemos que passamos algo por referência, significa que passamos o valor da referência - há uma cópia da referência, mas nossa intenção é passar o dado a que ela se refere. É comum, mesmo em linguagens de mais baixo nível que possuem mecanismos próprios de referência, não dar acesso direto ao endereço da referência, porque ele não é importante e sim o seu dado referenciado. Assim, referências são muito mais seguras que ponteiros. Quando acessamos uma referência, está implícito que queremos acessar seu objeto referenciado. É até uma questão de semântica clara.
Em linguagens de muito baixo nível, como Assembly e C, não possuem mecanismos que tratam de referências, você as simula com ponteiros. Em outras, como C++ e D, isso pode ser feito explicitamente. Nas linguagens de mais alto nível o uso delas é tão opaco que o programador pode até usá-las sem ter ciência que está usando uma referência. Não importa muito o quanto a linguagem esconda a implementação, se é uma referência, é muito mais fácil manipular que um ponteiro. O fato dela ser menos flexível, dar mais garantias, muitas preocupações são desnecessárias. E até o compilador pode se beneficiar já que ele pode ser mais agressivo por conta das garantias fornecidas pelo mecanismo, o que pode facilitar ter um ganho de performance.
Referências costumam ter informações adicionais além do endereço onde a outra parte está. Pelo menos o seu tamanho e o tipo de informação contida na parte referida são comuns, mesmo que a informação só esteja disponível em tempo de compilação, nas linguagens mais simples.
C++ provavelmente é uma das linguagens onde a diferenciação é mais importante já que ela possui explicitamente tanto ponteiro quanto referência. Em C++ ponteiro e referência são tipos de dados. Claro que algumas linguagens possuem referências embutidas em outros mecanismos. Como é o caso de um slice de Go. Mas não é que C, por exemplo, não tenha referências, ela só não tem um mecanismo específico para tratá-las. Elas são conceituadas e manipuladas por completa discrição do programador.
Tanto ponteiro quanto referência são indireções.
Intercâmbio de nomenclatura
Tudo que fazemos em estrutura de dados usam referências. E até que precise explicitar que ela é concretizada através de um ponteiro, esta deveria ser a nomenclatura preferencial. Eu e meio mundo intercambiamos os termos quando não é o mais apropriado sem causar grandes prejuízos ou mal-entendidos. Em documentações e outras publicações formais o equívoco não pode ocorrer.
A intenção desta resposta não é esgotar o assunto, mas apenas dirimir as diferenças dos termos já que todos usamos o tempo todo e nem sempre paramos para pensar sobre exatamente o que eles são.
Conclusão
Como eu comecei, eu não tenho como afirmar, nunca li algo canônico e indiscutível sobre o assunto, até gostaria de ver algo assim, mas o que posso ajudar é mostrar que são conceitos diferentes, um é um mecanismo concreto, poderoso e flexível e o outro é mais abstrato, mais seguro (mais automatizado), mais universal, e mais fácil de entender.
Referência, nas linguagens de mais alto nível, como o Java, é um conceito mais abstrato que indica uma indireção de dado, sequer é um mecanismo acessível ao programador na maioria delas. Ponteiro é um dos mecanismos mais concretos usados para implementar a referência. É importante ter alguma consciência sobre o funcionamento de referências para evitar surpresas mas não é necessário entender profundamente o seu funcionamento. Podemos dizer que nestas linguagens ponteiro, estritamente, nem deveria ser citado. Não que eu esteja pregando alienação do programador.
Não sei se respondi totalmente a dúvida e sei que esta resposta não pode ser considerada definitiva. Não que ela esteja errada também. Mas acredito que os links fornecidos ajudam começar a procura por mais informações sobre o assunto.
Coloquei no GitHub para referência futura.