Que tal calcular de uma forma bem mais minimalista? O cálculo com ms é altamente superior considerado o desempenho. Ex: Nasci em 17/12/1995. Então:

<!-- begin snippet: js hide: false -->

<!-- language: lang-js -->

    function calcAge(dateString) {
      var birthday = +new Date(dateString);
      return ~~((Date.now() - birthday) / (31557600000));
    }

console.log(calcAge("Thu Dec 17 1995 00:51:54 GMT-0300 (BRT)"));

<!-- end snippet -->
Se o código for executado antes do dia 17/12/2015. Ainda terei 19 anos :P