Guilherme,
na verdade deixar apps e threads rodando em background com conexoes abertas não é recomendado. Imagina se toda app ficasse com uma porta aberta e uma conexão estabelecida esperando uma resposta do servidor? Em um ambiente mobile onde muitas vezes a conexao 3G é muito lenta, isso congestionaria a rede, e o usuário não conseguiria navegar eficientemente. Então, a partir daí, a Google criou um barramento de servidores que fazem essa comunicação para nós, evitando assim o congestionamento em caso que a conexão com a internet seja muito ruim.
Esse barramente é chamado de GCM (Google Cloud Messaging), citado nos comentários pelo nosso amigo Wakim.
Funciona da seguinte maneira:
A app registra na sua conta do GCM e é gerada uma Key
sua app deve entregar essa Key para o seu servidor que deseja comunicar com a app
O servidor envia uma notificação para o servidores GCM com a Key da sua aplicação
O GCM enfileira as notificações e entrega elas ao seu celular
O serviço de notificação do seu celular entrega a notificação ao seu código.
Ou seja, os servidores comunicam com o GCM e o GCM com seu celular, isso faz com que o celular só precise que uma conexao fique aberta: a do GCM. Isso me permite escalabilidade e evita problemas de conexao. É assim que apps do facebook e whatsapp funcionam. Sua app não precisa ficar aberta, e não precisa de threads em background escutando conexões, você só precisa configurar um serviço na sua app e o sistema operacional faz o resto.
Obviamente minha explicação é bem breve, e bem superficial. Você pode encontrar mais detalhes sobre isso AQUI, com explicações de como implementar a parte do cliente e a parte do servidor e muito mais.
Você também pode encontrar um vídeo tutorial muito bem explicativo AQUI.
Espero ter ajudado!!!