O jeito mais fácil é sem script/animação alguma - ao contrário deste link que você deu de exemplo.

Logo após o `<body>`, inclua uma pequena âncora:

    <body>
        <a id="topo"></a>
        ...

Então, inclua a marcação do botão:

        <a href="#topo"><div id="botao_topo"><img src="img" /></div></a>

Para finalizar, basta aplicar o CSS do botão. Um exemplo está abaixo:

    #botao_topo {
        width: 50px;
        height: 50px;
        position: fixed;
        right: 10px;
        bottom: 10px;
        z-index: 999;
    }

**Edit**: preparei um [JSFiddle com pequenas melhorias][1] possíveis. Caso queiram aplicá-las, é necessário adicionar um `&nbsp;` à âncora.


  [1]: http://jsfiddle.net/ruipimentel/gsrwue30/