Esta função faz essa verificação (explicações no código):

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    function validadata(d){
       var data = d.value; // pega o valor do input
       data = data.replace(/\//g, "-"); // substitui eventuais barras (ex. IE) "/" por hífen "-"
       var data_array = data.split("-"); // quebra a data em array
       var dia = data_array[2];
       var mes = data_array[1];
       var ano = data_array[0];

       // para o IE onde será inserido no formato dd/MM/yyyy
       if(data_array[0].length != 4){
          dia = data_array[0];
          mes = data_array[1];
          ano = data_array[2];
       }

       var hoje = new Date();
       var d1 = hoje.getDate();
       var m1 = hoje.getMonth()+1;
       var a1 = hoje.getFullYear();

       var d1 = new Date(a1, m1, d1);
       var d2 = new Date(ano, mes, dia);

       var diff = d2.getTime() - d1.getTime();
       diff = diff / (1000 * 60 * 60 * 24);
       
       var dias = 3; // número de dias pra frente
       var a = d1.getDay()+1; // pega o dia da semana de hoje e soma +1
       var da = d1.getDay()+2; // pega o dia da semana de hoje e soma +2
       
       // se for 8 (sábado) ou 9 (domingo)
       if(a == 8 || da == 8 || a == 9 || da == 9){
          dias += 2; // aumento dois dias na variável
       }
       
       if(diff <= dias){
          console.log("Apenas data a partir do 3º dia");
       }else{
          console.log("Data válida!");
       }
    }

<!-- language: lang-html -->

    <input type="date" id="txtDat" onchange="validadata(this)">

<!-- end snippet -->