$('#form').submit(cb)
é um atalho para $('#form').on("submit", cb)
. Se você quiser evitar o jquery você pode fazer esse bind de eventos usando onsubmit ou o addEventListener.
Para cancelar a submissão da form você pode usar o método preventDefault ou returnar false do event handler:
var meuForm = document.getElementById("meuForm");
meuForm.onsubmit = function(){
if(dadosInvalidos()){
return false;
}
}
(Vale notar que o return false pode não ser atingido se a lógica de verificação lançar uma Exception. Veja essa pergunta no SO em inglêsessa pergunta no SO em inglês
Finalmente, usando o evento submit como você está fazendo cobre tanto o caso do usuário clicando no botão quanto o caso dele apertando enter.