A lógica por trás disso é simples: verificar se a letra digitada é maiúscula, e se o shift não está pressionado:
document.getElementById('txtSenha').onkeyup = function (e) {
var key = e.charCode || e.keyCode;
//enter, caps lock e backspace não interessam
if(key == 13 || key == 8 || key == 46 || key == 20){
return false;
}
//pega o último caracter digitado
var tamanho = this.value.length
var ultimo_caracter = this.value.substring(tamanho - 1);
//Verifica se é maiúsculo, e se não é shift
if(ultimo_caracter.toUpperCase() == ultimo_caracter
&& ultimo_caracter.toLowerCase() != ultimo_caracter
&& !e.shiftKey)
{
alert('Caps Lock está pressionado!');
}
};
<input type="password" id="txtSenha" />
Este exemplo não usa JQuery. Você pode customizar também, permitir ou bloquear mais teclas, mas eu faria algo semelhante a isso mesmo