Há várias maneiras de fazer isso, mas é comúm ter um container visível na página, qual é removido até que o documento se carregue completamente.

Quando me refiro à "container", refiro ao elemento que contém o conteúdo visível enquanto a página está em carregamento ainda, onde você iria colocar uma imagem \*.gif como esperado.

Agora, aqui vai o exemplo (esse código cairia melhor no fim de `body`, pois lá os elementos já teriam sido declarados antes):

    (function() {
        var loadingContainer = document.getElementById('loading-container');

        (function checker() {
            // checa se o documento foi carregado
            if (document.readyState === "complete") {
                // remove o container pelo seu parente
                loadingContainer.parentNode.removeChild(loadingContainer);
    
            } else setTimeout(checker, 20);
            /* window.requestAnimationFrame poderia dar problemas */
        })();
    
    })();