As diferenças começam na nomenclatura, chamamos os da categoria do Tomcat de servidor web e outros como Jboss e Glassfish de conteiner. Um conteiner geralmente agrega mais funcionalidade que a especificação básica de um servidor web. Por exemplo: interfaces de administração, pools de conexões, balanceamento de cargas, são funcionalidades que já estão prontas e disponíveis nos conteiners em geral que não exigirão muito conhecimento extra do administrador para fazê-las funcionar. Além disso já contam com um conjunto de bibliotecas pré-instaladas, muitas delas relacionadas a estes serviços que estão homologadas pelo servidor. Exemplificando de forma mais simples: No tomcat quando vc precisa usar JPA por exemplo, terá que incluir as bibliotecas (definindo as versões de delas) dos fornecedores como Hibernate, EclipseLink, etc. No caso do JBoss ele já possui o Hibernate como padrão e não é preciso incluí-las via aplicação. Na prática, o que ocorre é que o conteiner gerencia as bibliotecas e assim garante a funcionalidade e compatibilidade delas. Se tiver mais de uma aplicação no mesmo servidor elas estarão utilizando a mesma versão de cada biblioteca fornecida pelo conteiner.
Até pouco tempo, pelo fato de "subir" todos os serviços na inicialização, o JBoss era muito mais lento de iniciar que o Tomcat. Por outro lado, o primeiro acesso a aplicação no Tomcat seria mais lenta que no JBoss, pois os serviços se iniciam junto com a aplicação. Atualmente no JBoss 7.x ou WildFly 8.x os serviços são inicializados por demanda, conforme a necessidade da aplicação. Então a justificativa do Tomcat ser mais "rápido e leve" não é exatamente válida para todos os casos.
Um requisito básico que usaria para escolher um servidor, além do nível de conhecimento sobre cada um deles é claro, é a necessidade da sua aplicação pelos serviços que cada um oferece. Por exemplo, se for fazer um balanceamento de cargas em um conteiner você poderá fazer isso de forma bastante trivial usando as interfaces de administração. Assim, você deve listar quais são as funcionalidades que a sua aplicação precisa e verificar se será necessário um servidor ou conteiner.