Desse jeito, o evento keypress
vai ficar monitorando sempre que alguma tecla é pressionada, e quando for o enter (código 13), irá fechar o modal.
$(document).ready(function() {
$(document).on('keypress', function(e) {
if(e.keyCode == 13) {
$('.modal').modal('hide');
}
});
});
<script src="https://ajax.googleapis.com/ajax/libs/jquery/2.1.1/jquery.min.js"></script>