Crie uma função própria para calcular as notas e utilize uma array com os valores em ordem decrescente:
var notas = [50,10,5,1];
Envie para a função o valor do troco e faça um loop na array deduzindo o valor do troco pela divisão do número de notas x o valor da nota da array, criando uma string com as informações que será enviada para o textarea. No final a função irá retornar a string com a quantidade certa de notas.
Veja:
function calculaTroco(){
var valorCompra = parseFloat($("#valorCompra").val());
var valorPago = parseFloat($("#valorPago").val());
var valorTroco = 0;
if (valorPago == valorCompra){
valorTroco = 0;
$("#valorTroco").val(valorTroco);
alert("Não gerou troco");
}else if(valorPago > valorCompra){
valorTroco = valorPago - valorCompra;
$("#valorTroco").val(valorTroco);
// envia para o textarea o retorno da função calculaNotas
$("#notasUtilizadas").val(calculaNotas(valorTroco));
}else{
alert("Não gerou troco (Valor pago menor que valor da compra)");
}
$("#valorCompra").val("");
$("#valorPago").val("");
$("#valorCompra").focus();
}
// função para calcular as notas
function calculaNotas(troco){
var notas = [50,10,5,1];
var texto = '';
for(var x=0; x < notas.length; x++){
if(troco >= notas[x]){
texto += Math.floor(troco/notas[x]) + " notas de "+notas[x]+"\n";
}
troco -= Math.floor(troco/notas[x])*notas[x];
}
return texto;
}
<script src="https://cdnjs.cloudflare.com/ajax/libs/jquery/3.3.1/jquery.min.js"></script>
<form id="formulario">
<fieldset>
<legend>Calcular Troco</legend>
<label for="valorCompra" >Valor da compra:</label>
<input type="text" id="valorCompra" name="valorCompra" /><br />
<label for="valorPago" >Valor pago:</label>
<input type="text" id="valorPago" name="valorPago" /><br /><br />
<button type="button" id="button" onclick="calculaTroco()">Calcular troco</button><br /><br />
<label for="valorTroco" >Valor do troco:</label>
<input type="text" id="valorTroco" name="valorTroco" readonly/><br /><br />
<label for="notasUtilizadas">Notas utilizadas:</label>
<textarea rows="3" id="notasUtilizadas" readonly ></textarea><br/>
</fieldset>
</form>