O jeito mais fácil é sem script/animação alguma - ao contrário deste link que você deu de exemplo.
Logo após o <body>
, inclua uma pequena âncora:
<body>
<a id="topo"></a>
...
Então, inclua a marcação do botão:
<a href="#topo"><div id="botao_topo"><img src="img" /></div></a>
Para finalizar, basta aplicar o CSS do botão. Um exemplo está abaixo:
#botao_topo {
width: 50px;
height: 50px;
position: fixed;
right: 10px;
bottom: 10px;
z-index: 999;
}
Edit: preparei um JSFiddle com pequenas melhorias possíveis. Caso queiram aplicá-las, é necessário adicionar um
à âncora.