Tu pode testar pelos minutos ou segundos das horas:
function verificarDiferencaHorario(inicialMin, finalMin) {
var totalMin = Number(finalMin - inicialMin);
console.log(Math.trunc(totalMin / 60).toString() + ":" + (totalMin % 60).toString());
}
Supondo os horários que mencionou:
function verificarHorario() {
var inicial = "11:20", final = "16:40";
var splInicial = inicial.split(":"), splFinal = final.split(":");
var inicialMin = (Number(splInicial[0] * 60)) + Number(splInicial[1]);
var finalMin = (Number(splFinal[0] * 60)) + Number(splFinal[1]);
verificarDiferencaHorario(inicialMin, finalMin);
}
O mesmo vale para dias: a última conversão em minutos e a função verificarDiferencaHorario retorna em horas e minutos a diferença.