Esta função faz essa verificação (explicações no código):

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    function validadata(d){
       var data = d.value; // pega o valor do input
       data = data.replace(/\//g, "-"); // substitui eventuais barras (ex. IE) "/" por hífen "-"
       var data_array = data.split("-"); // quebra a data em array
       var dia = data_array[2];
       var mes = data_array[1];
       var ano = data_array[0];

       // para o IE onde será inserido no formato dd/MM/yyyy
       if(data_array[0].length != 4){
          dia = data_array[0];
          mes = data_array[1];
          ano = data_array[2];
       }

       var hoje = new Date();
       var d1 = hoje.getDate();
       var m1 = hoje.getMonth();
       var a1 = hoje.getFullYear();

       var d1 = new Date(a1, m1, d1);
       var d2 = new Date(ano, mes-1, dia);

       var diff = d2.getTime() - d1.getTime();
       diff = diff / (1000 * 60 * 60 * 24);
       
       var dias = 3; // número de dias pra frente
       var a = (d1.getDay()+1)%7; // verifica se amanhã é sábado ou domingo
       var da = (d1.getDay()+3)%7; // verifica se hoje + 3 é sábado ou domingo

       // se for 6 (sábado) ou 0 (domingo)
       if(a == 6 || da == 6 || da == 0){
          dias += 2; // aumento dois dias na variável se for sábado
       }else if(a == 0){
          dias += 1; // aumento um dia na variável se for domingo
       }

       if(diff < dias){
          console.log("Apenas data a partir do 3º dia");
       }else{
          console.log("Data válida!");
       }
    }

<!-- language: lang-html -->

    <input type="date" id="txtDat" onchange="validadata(this)">

<!-- end snippet -->