Como já foi dito, com rotas não é possível fazer isso.

Uma forma de fazer isso, seria alterar o retorno do `Controller` para um `Redirect()` para o página desejada.

Algo como isso:

     return Redirect("/Home/Contact#contato");

Ou isso:

    return Redirect(Url.Action("Contact", "Home") + "#contato");

Lembrando que isso colocará apenas "uma âncora" no final da URL. não sei ao certo o que deseja fazer com isso.

Caso queira mais detalhes, [esta pergunta][1] possui mais respostas sobre oq ue você perguntou.

>Nota: Caso opte por usar o `Redirect()`, tome cuidado. Se a requisição para a mesma `Action()`, irá causar um **Loop Infinito**.

Caso queira fazer isso no cliente, você pode [customizar o HtmlHelper](http://pt.stackoverflow.com/a/145698/20615) e criar o seu próprio, com a rota desejada.

  [1]: http://stackoverflow.com/q/5567721/4843158