Esse é o comportamento esperado do AlarmManager.
A solução passa por verificar, antes de criar o alarme, se a hora é anterior à hora actual e, se sim, acrescentar um dia.
Para facilitar "as contas" vamos usar a classe Calendar:
//Cria um Calendar para a hora do alarme
Calendar horaAlarme = Calendar.getInstance();
//Seta a hora do alarme
horaAlarme.set(Calendar.HOUR_OF_DAY, 12);
//Seta os minutos do alarme
horaAlarme.set(Calendar.MINUTE, 20);
//Coloca zero nos segundos
horaAlarme.set(Calendar.SECOND, 0);
//Cria um Calendar com a data/hora actual
Calendar horaActual = Calendar.getInstance();
//Adiciona um dia caso a hora actual for superior à do alarme(12:20)
if(horaActual.getTimeInMillis() >= horaAlarme.getTimeInMillis()){
horaAlarme.add(Calendar.DAY_OF_MONTH, 1);
}
//Agenda o Alarme
alarme.setRepeating(AlarmManager.RTC_WAKEUP,
horaAlarme.getTimeInMillis(),
AlarmManager.INTERVAL_DAY,
alarmIntent);