Esta função faz essa verificação (explicações no código):
function validadata(d){
var data = d.value; // pega o valor do input
data = data.replace(/\//g, "-"); // substitui eventuais barras (ex. IE) "/" por hífen "-"
var data_array = data.split("-"); // quebra a data em array
var dia = data_array[2];
var mes = data_array[1];
var ano = data_array[0];
// para o IE onde será inserido no formato dd/MM/yyyy
if(data_array[0].length != 4){
dia = data_array[0];
mes = data_array[1];
ano = data_array[2];
}
var hoje = new Date();
var d1 = hoje.getDate();
var m1 = hoje.getMonth();
var a1 = hoje.getFullYear();
var d1 = new Date(a1, m1, d1);
var d2 = new Date(ano, mes-1, dia);
var diff = d2.getTime() - d1.getTime();
diff = diff / (1000 * 60 * 60 * 24);
var dias = 3; // número de dias pra frente
var a = (d1.getDay()+1)%7; // verifica se amanhãdia éda sábadosemana oude domingohoje+1
var da = (d1.getDay()+3)%7; // verifica se hoje + 3dia éda sábadosemana oude domingohoje+3
// se for 6 (sábado) ou 0 (domingo)
if(a == 6 || da == 6 || da == 0){
dias += 2; // aumento dois dias na variável se for sábado
}else if(a == 0){
dias += 1; // aumento um dia na variável se for domingo
}
if(diff < dias){
console.log("Apenas data a partir do 3º dia");
}else{
console.log("Data válida!");
}
}
<input type="date" id="txtDat" onchange="validadata(this)">