Acho que o que você quer é manipular a propriedade document.form.cor3.className
:
function cor() {
var cor1 = evalparseInt(document.form.cor1.value) || 0;
var cor2 = evalparseInt(document.form.cor2.value) || 0;
var comp = evalparseInt(document.form.comparar.value) || 0;
var cor3 = cor1 + cor2;
document.form.cor3.value = cor3;
document.form.cor3.className = cor3 < comp ? 'vermelho' : 'verde';
}
.vermelho {
background-color: red;
}
.verde {
background-color: green;
}
<form name="form" onmouseover="cor()">
<input name="comparar" width="50%" /><br /><br /><br />
<input name="cor1" width="50%" /><br />
<input name="cor2" width="50%" /><br /><br /><br />
<input name="cor3" width="50%" /><br />
</form>