`$('#form').submit(cb)` é um atalho para `$('#form').on("submit", cb)`. Se você quiser evitar o jquery você pode fazer esse bind de eventos usando onsubmit ou o addEventListener.

Para cancelar a submissão da form você pode usar o método preventDefault ou returnar false do event handler:

    var meuForm = document.getElementById("meuForm");
    meuForm.onsubmit = function(){
        if(dadosInvalidos()){
            return false;
        }
    }

(Vale notar que o  return false pode não ser atingido se a lógica de verificação lançar uma Exception. Veja [essa pergunta no SO em inglês](http://stackoverflow.com/questions/3350247/how-to-prevent-form-from-being-submitted)

Finalmente, usando o evento submit como você está fazendo cobre tanto o caso do usuário clicando no botão quanto o caso dele apertando enter.