Usa assim o substrig/replace:

    $('.mirror').on('keyup', function() {
        var str = $(this).val();
        str = str.replace(".", "");
        str = str.replace(",", ""); //Tu adicionas todos os caracteres que tu queres remover.
        var res = str.replace("#", ""); //E no último, joga na variável 'res'
        $("#novoTexto").val(res);
    })

    <input type="text" class="mirror" placeholder="one">
    <input id="novoTexto" type="text" placeholder="two">