Acredito que desenvolver uma solução eficiente para enviar mensagens do servidor para devices, além de ser particularmente complexo, requer uma estrutura que o http convencional não contempla. Este definitivamente não é o caminho que você precisa seguir, a não ser que você possua alguma estrutura avançada, como o Amazon AWS e muita experiência.
Os fabricantes de devices móveis sabem desta dificuldade e criaram soluções para resolver esta questão sem deixar qualquer desenvolvedor louco. No android nós temos o GCM (Google Cloud Message), que envia mensagens de até 2kb para o device ou devices especificados.
São muitas etapas para demostrar aqui, mas a lógica é a seguinte.
- Todo device android por padrão ao se conectar à internet possui uma assinatura única registrada nos servidores google.
- Quando seu app se registra em seu servidor você registra a assinatura do device
- De posse da assinatura o seu servidor cria a mensagem (com no máximo 2kb) e envia para os servidores Google GCM
- Os servidores GCM possuem um acesso direto à todos os devices conectados. Eles portanto enviam a mensagem para o device.
- O device processa a mensagem que pode ser completa, ou somente um pedido de conexão para baixar informações mais complexas.
- Se existir a necessidade o device se conecta novamente no seu servidor, para concluir a operação, fazendo um download por exemplo.
Como você pode perceber, são alguns passos necessários. A google oferece toda a documentação para você, mas infelizmente não encontrei em português.
Evidentemente existem outras alternativas. Alguns serviços pagos, como o parse.com resolvem toda a logística de servidor, mas existe um ônus nisso. Existem também algumas soluções open source que se propões a oferecer estrutura de servidor já adequada às necessidades mobile. Um projeto que pode ter um futuro promissor é o baasbox, mas não sei como ele se comporta em ambiente de produção.
Enfim, espero ter ajudado.