Dando uma opção manual que pode começar ser melhor se você tiver que fazer mais de `replace()`. As pessoas olham uma chamada de função e não sabem da ineficiência dela, parece que porque é curto é rápido.

RegEx pode ser até mais eficiente em alguns casos, mas não todos, aquilo é um mecanismo extremamente sofisticado.

Note que existe uma situação que a pergunta não fale, então não tratei, mas seria bom ver se isso é importante. Se o caractere que será eliminado tem espaço antes e depois, provavelmente desejará apagar um deles. Se quiser isso precisa ter um controle se o último caractere que pegou é um espaço, então o próximo não deveria ser, provavelmente apenas se houve a remoção de um caractere. Não vou fazer porque pode não ser o desejado.

<!-- begin snippet: js hide: false console: true babel: false -->

<!-- language: lang-js -->

    texto= "Aqui tem uma barra\\ e \" também";
    var novoTexto = "";
    for (var i = 0; i < texto.length; i++) if (texto[i] !== "\"" && texto[i] !== "\\") novoTexto += texto[i];
    console.log(novoTexto);

<!-- end snippet -->

[Coloquei no **GitHub** para referência futura][1].


  [1]: https://github.com/maniero/SOpt/blob/master/JavaScript/String/RemoveChars.js