A melhor maneira para o senhor resolver, é, converter os horários para segundos e subtrair a diferença.

Veja bem, esse é um problema bastante conhecido, que foi resolvido e documentado e padronizado como *POSIX TIME*

https://pt.wikipedia.org/wiki/Era_Unix