O modelo "tradicional" de deploy e operações utilizado para lidar com aplicações java está estritamente ligado aos servidores de aplicação. A forma de administrar os Application Servers quase não mudou com o passar dos anos, não acompanhando as necessidades dos desenvolvedores.
Um monte de serviços sob o mesmo servidor pode causar inúmeros problemas, dentre eles (o mais sério na minha perspectiva) a possibilidade de uma aplicação com erro derrubar o server e consequentemente todas as outras aplicações, mesmo que elas não tenham nada a ver! Farei uma comparação entre as abordagens, tópico a tópico:
Impacto no desenvolvimento
Para o desenvolvedor o App Server significa uma etapa adicional no ciclo de dev-test. O resultado da compilação é compactado em um arquivo war (ou jar). Depois, o war será descompactado pelo App Server para que então possamos ver a app rodando. Então o código é compactado apenas para ser descompactado novamente.
Eu disse que era apenas uma etapa adicional, mas me ocorreu agora que é necessário instalar o server localmente primeiro.
Com o embedded server, não há necessidade de uma instalação adicional, o processo de compressão/descompressão é inexistente. E você pode rodar a app com um simples comando.
Deploy
Quando colocamos o sistema em produção, o App Server também adiciona um peso considerável:
O server deve ser implantado além da app. A configuração geralmente é bastante complexa, às vezes ainda mais complexa do que a configuração da própria app. Isso torna os scripts de automação mais difíceis de escrever. Os scripts disponíveis para ferramentas como Chef ou Puppet provam esse ponto.
A configuração do server deve corresponder a versão e configuração da app. E isso deve ser assegurado em cada ambiente (qa, pre prod, prod, etc). Ao mesmo tempo, as configurações antigas devem estar disponíveis - para possíveis rollbacks. Isso é difícil de administrar.
Este problema torna-se ainda mais grave quando fazemos entrega contínua. Esse processo comumente contém várias fases de teste - unidade, aceitação, teste de carga e testes exploratórios. Em cada uma dessas etapas, possivelmente a app será implantada em um ambiente diferente - e essa pipeline é executada várias vezes ao dia. A complexidade adicional no processo de implantação tem um enorme impacto porque há muitos deploys feitos todos os dias. Então os deploys devem ser tão fáceis quanto possível. Evitar o App Server aqui torna sua vida muito mais fácil, do contrário você terá que administrar o estado do server também. O conceito de Immutable Server existe para lidar com esse problema.
Portanto, não apenas os benefícios de usar um App Server são questionáveis, como ele adiciona uma complexidade considerável ao deploy da app.
DevOps
Novas tendências também não casam bem com a idéia de um App Server. DevOps proclama uma fusão de desenvolvimento (Dev) e operações (Ops) para DevOps, o que leva a uma abordagem diferente: os desenvolvedores geralmente usam ferramentas especializadas para o ambiente onde estão programando (java por ex).
Por outro lado, Operações possuem um conjunto de ferramentas que suportam um panorama mais amplo - automação de deploy que pode ser baseado em gerenciadores de pacotes e ferramentas para métricas, por exemplo.
Essa abordagem também torna os desenvolvedores conscientes dessas ferramentas, de forma que eles as utilizam para configurar as próprias máquinas. As alternativas para as ferramentas do App Server são mais facilmente acessíveis também para os desenvolvedores.
Ou seja, as ferramentas de operações padrão para monitoramento e deploy são uma ótima alternativa para a solução que os App Servers fornecem.
Microservices
Outra clara influência nessa discussão são microservices. Com este paradigma, os serviços devem ter um significado comercial e podem ser implantados de forma independente. Então, em vez de um grande monolito, o sistema é dividido em vários componentes deployáveis que se comunicam entre si. Cada microservice é efetivamente uma aplicação web separada.
A implantação de um App Server para cada um desses microserviço adiciona uma sobrecarga considerável. Um número maior de instâncias são necessárias comparado ao modelo de configuração tradicional. Além disso, os microservices se concentram em infraestrutura especializada: um App Server pode ser uma boa escolha para o serviço no front-end. Mas para análise de dados, uma infraestrutura de Big Data como o Hadoop, será mais apropriado. Se houver algum tipo de processamento em lote, Spring Batch pode ser a melhor escolha.
Microserviços aumentam o número de componentes independentemente deployados. Isso significa que uma infraestrutura complexa deve ser evitada.
Conclusão
Se os App Servers apenas causam mais complexidade, não há bons motivos para usá-los. Usando embedded servers, podemos empacotar nossa app em arquivos JAR que contêm uma classe principal e, portanto, podem ser iniciados a partir da linha de comando. O arquivo JAR contém toda a infra-estrutura necessária, tanto as bibliotecas, como um servidor HTTP incorporado para uma aplicação web. O deploy pode ser feito com ferramentas de automação como Puppet, Chef ou Ansible. Elas são bem fáceis de configurar.
É difícil encontrar razões técnicas convincentes para justificar o uso de App Servers hoje em dia. O suporte para deploy e monitoramento pode ser feito com ferramentas genéricas às quais as operações já estão acostumadas. As bibliotecas fornecem os recursos que os desenvolvedores precisam. Sem um App Server, o desenvolvimento de aplicativos é mais fácil - e também o deploy, teste e debug.
Para suportar essa idéia, você pode verificar no site do Heroku que essa é a forma que eles recomendam o deploy. O Procfile tem uma linha.
O Jetty usa o slogan "Don't deploy your application in Jetty, deploy Jetty in your application." (Não deploye sua aplicação no Jetty, deploye o Jetty na sua aplicação). Tudo é sobre facilidade de deploy e manutenção.
No entanto, se você já possui App Servers rodando e você está acostumado com eles em produção, as coisas mudam de figura. Mudar para embedded servers vai mudar uma boa parte de seus processo. O esforço para fazer essas mudanças deve ser equilibrado em relação aos benefícios.