Na real o `onsubmit` não funciona sem o `preventDefault`
Acredito Eu que o correto seria...

    function validar(e){
        //o preventDefault, evita que o botão não siga seu fluxo padrâo. ou seja evita      
        //que um submit "submita" o formulário.
        e.preventDefault();
        if(document.form.telefone.value.length <11){
            alert("Esse campo precisa de 11 caracteres");
            document.form.telefone.focus();
            return false;
        }else{
         //peguei o formulário por um id e use o onSubmit no formulário.
        }
    }

Para melhor definição do preventDefault: [Pergunta do SOpt][1]


  [1]: https://pt.stackoverflow.com/questions/167/qual-a-diferen%C3%A7a-de-uso-de-return-false-event-stoppropagation-e-event-prevent