A melhor maneira para o senhor resolver, é, converter os horários para segundos e subtrair a diferença. Ex: Pegue os 2 horários, converta-os em segundos, subtraia a diferença, pegue o resultado da diferença e converta-o em minutos.
Veja bem, esse é um problema bastante conhecido, que foi resolvido e documentado e padronizado como POSIX TIME
https://pt.wikipedia.org/wiki/Era_Unix
Também existem bibliotecas prontas para fazerem esse trabalho. Uma das minhas favoritas é o MomentJS
Boa sorte !