Referências podem ser comparadas a ponteiros constantes, e não a ponteiros a valores constantes. Perceba a diferença. Sobre as diferenças entre ponteiros e referências, sugiro ler aqui.
Desse modo, uma referência (”normal”) permite que o valor original seja modificado. Uma referência constante, todavia, não permite que o valor original seja modificado — é como se fosse uma janela read-only.
Essa diferença é de fato importante em algumas situações. Por exemplo, se você vê uma referência constante numa assinatura qualquer, é certo que a função não modificará o valor que você passou. Claro que dá para burlar isso, mas de modo geral não deve acontecer.
De modo geral, vale a pena sempre declarar as referências como constante. Assim você evita modificar o valor por engano. Se a função precisa modificar o valor, use a referência normal, que permite tal mutabilidade.
Exemplos:
void test_ref(int& my_ref) {
my_ref++; // Irá modificar o valor original.
}
void test_const_ref(const int& my_ref) {
my_ref++;
// ^^^^^^
// (error) expression must be a modifiable lvalue
}
Há quem compare referências constantes com a clássica passagem por valor, pela qual há cópia e portanto não há possibilidade de se modificar o valor original. Só que sem a cópia. :)
const
a situação muda. No SOen tb tem essa aqui