Dando uma opção manual que pode começar ser melhor se você tiver que fazer mais de um replace()
. As pessoas olham uma chamada de função e não sabem da ineficiência dela, parece que porque é curto é rápido.
RegEx pode ser até mais eficiente em alguns casos, mas não todos, aquilo é um mecanismo extremamente sofisticado. Não vou fazer um benchmark para ver se é o caso desse exemplo porque estou dando uma solução geral que será melhor em vários cenários, mesmo que não dê neste.
Note que existe uma situação que a pergunta não falefala, então não tratei, mas seria bom ver se isso é importante. Se o caractere que será eliminado tem espaço antes e depois, provavelmente desejará apagar um deles. Se quiser isso precisa ter um controle se o último caractere que pegou é um espaço, então o próximo não deveria ser, provavelmente apenas se houve a remoção de um caractere. Não vou fazer porque pode não ser o desejado.
texto= "Aqui tem uma barra\\ e \" também";
var novoTexto = "";
for (var i = 0; i < texto.length; i++) if (texto[i] !== "\"" && texto[i] !== "\\") novoTexto += texto[i];
console.log(novoTexto);