Uma informação a mais, para complementar as respostas do Rodrigo e do bigownManiero.
Se você compilar a aplicação como 64 bits, ela não vai rodar em máquinas com processadores 32 bits (ou menos).
Como faz muito tempo que não vemos esse tipo de máquina (o Windows XP já tinha versões 64 bits em meados do período Jurássico), isso só seria problema se você tentasse executar um aplicativo em uma peça de museu. Mas acho que vale a pena mencionar, de qualquer forma.
Agora, sério mesmo, a única aplicação prática que vejo para a compilação em 32 bits é para atualizar DLL's de aplicações 32 bits - e essas ainda existem e são muito comuns. Se você for atualizar uma DLL de uma aplicação dessas, você tem que manter o padrão de bits, caso contrário haverá incompatibilidade.