Na real o onsubmit
não funciona sem o preventDefault
Acredito Eu que o correto seria...
function validar(e){
//o preventDefault, evita que o botão não siga seu fluxo padrâo. ou seja evita
//que um submit "submita" o formulário.
e.preventDefault();
if(document.form.telefone.value.lenghtlength <11){
alert("Esse campo precisa de 11 caracteres");
document.form.telefone.focus();
return false;
}else{
//peguei o formulário por um id e use o onSubmit no formulário.
}
}
Para melhor definição do preventDefault: Pergunta do SOpt