Como comentado isso não é o mais correto a se fazer pois quando se obtém a hora com javascript, se obtém a hora do computador do usuário/cliente, porém respondendo sua pergunta, você poderia fazer assim:
No html:
<div class="Lojas">
<p class="Loja">Loja 1</p>
<p class="Horario" data-open="8" data-close="18">Aberto Todos os dias das 8:00 as 18:00</p>
</div>
<div class="Lojas">
<p class="Loja">Loja 2</p>
<p class="Horario" data-open="10" data-close="20">Aberto Todos os dias das 10:00 as 20:00</p>
</div>
jQuery:
var agora = new Date();
var horario = agora.getHours();
$(".Horario").each(function(){
var open = $(this).data("open");
var close = $(this).data("close");
var span = document.createElement("span");
if(horario >= open && horario <= close){
span.innerHTML = "ABERTO";
}else{
span.innerHTML = "FECHADO";
}
$(this).parent().append(span);
})
Veja um exemplo aqui:
https://jsfiddle.net/j8hhhquw/