Que tal calcular de uma forma bem mais minimalista? O cálculo com ms é altamente superior considerado o desempenho. Ex: Nasci em 17/12/1995. Então:
function calcAge(dateString) {
var birthday = +new Date(dateString);
return ~~((Date.now() - birthday) / (31557600000));
}
console.log(calcAge("Thu Dec 17 1995 00:51:54 GMT-0300 (BRT)"));
A técnica utilizada se encontra em: http://jsperf.com/birthday-calculation E agradeço ao Caio Ribeiro por ter me mostrado