A validação pode até ocorrer mas o evento padrão do formulário é realizar a requisição. Você pode utilizar o método `preventDefault` para cancelar o evento padrão e realizar as manipulações necessárias.

    const form = document.querySelector('form[name="novocadastro"]');
    
    form.addEventListener("submit", function(event) {
        event.preventDefault(); //Cancelando o evento padrão
    
        const validated = validarsenha(); //Executando a função de validação

        if (validated) {
            form.submit(); //Realizando o submit do formulário caso validação esteja correta
        }
    });

Agora é necessário adicionar um retorno verdadeiro na função de validação.

    function validarsenha() {
        var senha=novocadastro.f_senha.value;
        var rep_senha=novocadastro.f_senhaconfirma.value;
    
        if (senha == ""  || senha.length < 5) {
            alert('Preencha o campo senha com no minimo 6 caracteres');
            novocadastro.f_senha.focus();
            return false;
        }
        if (rep_senha == ""  || rep_senha.length < 5) {
            alert('Preencha o campo confirma senha com no minimo 6 caracteres');
    
      novocadastro.f_senhaconfirma.focus();
            return false;
        }
        if (senha != rep_senha) {
            alert('As senhas sao diferentes!');
    
      novocadastro.f_senhaconfirma.focus();
            return false;
        }
    
        return true;
    }