Você tem que usar uma verificação de extensão dos arquivos que serão enviados, no caso somente arquivos que tenham a extensão **.csv**.

**Exemplo:**

<!-- begin snippet: js hide: false -->

<!-- language: lang-js -->

    function comprova_extensao(formulario, arquivo) {
      extensoes_permitidas = new Array(".csv");
      meuerro = "";
      if (!arquivo) {
        //Se não tenho arquivo, é porque não se selecionou um arquivo no formulário.
        meuerro = "Não foi selecionado nenhum arquivo";
      } else {
        //recupero a extensão deste nome de arquivo
        extensao = (arquivo.substring(arquivo.lastIndexOf("."))).toLowerCase();
        //alert (extensao);
        //comprovo se a extensão está entre as permitidas
        permitida = false;
        for (var i = 0; i < extensoes_permitidas.length; i++) {
          if (extensoes_permitidas[i] == extensao) {
            permitida = true;
            break;
          }
        }
        if (!permitida) {
          meuerro = "Comprova a extensão dos arquivos a subir. \nSó se podem subir arquivos com extensões: " + extensoes_permitidas.join();
        } else {
          //submeto!
          alert("Tudo correto. Vou submeter o formulário.");
          formulario.submit();
          return 1;
        }
      }
      //se estou aqui é porque não se pode submeter
      alert(meuerro);
      return 0;
    }

<!-- language: lang-html -->

    <form method=post action="#" enctype="multipart/form-data">
      <input type=file name="arquivoupload">
      <input type=button name="Submit" value="Enviar" onclick="comprova_extensao(this.form, this.form.arquivoupload.value)">
    </form>

<!-- end snippet -->