Po que você não está passando os argumentos para a função.
Eu aproveitei e melhorei a legibilidade do código, colocando junto o que é junto, colocando ;
porque assim funciona mas tem caso que dá problema e aí você ficará procurando sem entender o erro (acostume-se fazer certo, não custa digitar um caractere a mais para dar mais robustez ao código) e retirei a criação da variável que não fazia sentido ali, principalmente porque na forma postada ela é criada em escopo global e isto não deveria acontecer.
O código ainda corre riscos se algo for digitado errado, mas isso é só melhoria.
function calculo(num1, num2, operacao){
if (operacao == 'soma') return num1 + num2;
else if (operacao == 'subtracao') return num1 - num2;
}
var num1 = parseInt(prompt("Digite um número: "));
var operacao = prompt("Digite a operação: ");
var num2 = parseInt(prompt("Digite outro número: "));
document.write(calculo(num1, num2, operacao));
Coloquei no GitHub para referência futura.
O código funcionaria se a função não tivesse parâmetros, já que as variáveis de escopo global serial usadas diretamente pela função, mas não é ideal fazer isto, estou dizendo para completeza de informação. Como tem parâmetros e nada é enviado para eles então os valores ficam indefinidos.