O código é bem confuso. Primeiro precisa declarar as variáveis que acumulam e contam for do laço, e seria bom inicializar com 0 pra deixar mais explícito que está é a intenção.
Além disso está pedindo a nota fora do laço, então pede só uma vez e isso não faz sentido.
Chamar a função de novo se deseja continuar não é adequado e vai estourar o stack em algum momento se tiver muitos dados para serem digitados. Não vai dar problema no exercício, mas pra que aprender fazer errado?
Corrigi essas coisas e resolveu, mas ainda não estou tratando um possível erro se a pessoa digitar algo onválido, o correto é cuidar disso no código.
<!DOCTYPE HTML>
<html>
<head>
<title>Exercício 2</title>
<meta charset="utf-8" />
<script>
function calcularMedia() {
var soma = 0;
var contador = 0;
for(;;) {
var nota = parseInt(prompt("Digite uma nota:"));
soma += nota;
contador++;
var dec = parseInt(prompt("Deseja continuar? Digite 1 para 'SIM' ou 2 para 'NÃO':"));
if (dec == 2) {
alert('A média das notas digitadas é: ' + parseInt(soma / contador));
break;
}
}
}
</script>
</head>
<body>
<script>calcularMedia();</script>
</body>
</html>
Coloquei no GitHub para referência futura.
O código original dele era esse então deixei assim.
num
?