Geralmente o código hash é usado com chave para tabelas de espalhamento, os chamados dicionários. É comum que o valor máximo de códigos possíveis seja guardado em 32 bits, então faz sentido usar o múltiplo máximo de 32 e o primo inferior imediato é 31. Não que precise usar todos os códigos, mas desse número pode-se derivar o índice mais apropriado de acordo com a quantidade de buckets possíveis naquele espalhamento específico assim dando uma boa distribuição.
Conforme comentários, hoje considera-se que há números melhores (maiores), mas até onde eu sei o motivo da escolha inicial era esse. Um número menor poderia gerar colisão de códigos muito mais facilmente. Um maior realmente é melhor, mas a diferença de ganho não é tão grande assim, já um menor fica bem pior.
Em algumas plataformas uma operação de shift de certos números é barata, em outras não é, em alguns casos há otimização para alguns números, como é o caso do 31 que pode ser usado (é um shift e uma subtração simples).
Dá para dizer que não é um número bem pensado, não foi feita uma avaliação profunda, algo que tem uma justificativa sensacional :)
Uma comparação foi feita no SOen. Parece que certos números dão no mesmo, mas note que outras observações precisam ser feitas, não pode se tomar a análise em isolado. Ali não mostra outros problemas de cada número.
Coloquei no GitHub para referência futura.
hashCode()
.