Não existe um local predefinido para se colocar do application.yml.
Sua dúvida me parece mais em como melhorar a segurança de acesso ao servidor que executa a aplicação do que em como esconder o usuário e senha de outras pessoas.
Um exemplo disso é:
O invasor entra no servidor mas não tem o usuário e senha do banco então ele fica escutando as conexões, se você não tiver utilizando https, então ele pega o usuário e senha mesmo se estiver escondido ou em outro lugar pois a aplicação precisará deles para se conectar ao banco de dados.
Você pode optar por um sistema gestor de configuração como zookeeper, consul ou mesmo o etcd, mas cairá na situação que citei acima.
Foque no acesso ao servidor e a segurança dele e após isso vá atrás da segurança de senhas na aplicação pois esta segunda é mais complicada do que parece.
Aqui temos ótimas considerações sobre como esconder senhas para as aplicações:
- Esconder senhas de aplicações shell script aqui a Jenny, foi quem escrever a resposta no stackexchange faz considerações que vão desde a importância da informação contida no banco de dados para a empresa, qual o impacto financeiro se alguém tiver acesso aos dados, ela fala também de aspectos técnicos como o usuário que você esta utilizando é administrador do banco de dados ou tem as permissões corretas para executar somente o que a aplicação precisa e por ai vai.
O último item que ela diz que é "você nunca conseguirar evitar guardar a senha em algum lugar" é que me leva a indicar para você começar a fazer a sua segurança pela periferia da sua aplicação como: quem acessa o servidor, quem pode acessar, quem acessa a rede, se é fácil entrar no servidor.