Considero a questão válida e relevante, mas tenho que admitir que isso entra um pouco no campo de opinião pessoal.
Visão do Desenvolvedor
Como sou primariamente um desenvolvedor, tenho dificuldades em ver alguma vantagem num framework de processos como o RUP e outros tipos de controle como ISO, COBIT, CMMI, MPS.BR e ITIL.
Isso porque o desenvolvedor em geral está muito mais preocupado em entregar o software que foi designado para fazer. Além disso, desenvolvedores experientes sabem como fazer o seu trabalho muito bem e conseguem se auto-gerenciar.
Visão da Equipe
Dentro de uma grande empresa, uma equipe de desenvolvimento possui uma visão pequena do todo. Isso significa que ela está a par apenas dos projetos com o qual está envolvida, mas não tem visibilidade global das diretrizes da empresa.
Os métodos ágeis são também mais atraentes para equipes porque as "empoderam" no sentido de que os envolvidos podem redefinir o processo como melhor lhes convier para entregar o que for necessário.
Visão do Gerente
Frameworks de processos geralmente são iniciativa da gerência.
Isso porque gerentes em geral não conseguem ter uma visibilidade dos projetos do ponto de vista técnico e precisam de mecanismos "abstratos" de planejamento e acompanhamento.
A formalização e a burocracia são a forma de trazer visibilidade sobre o projeto para quem não está efetivamente participando do mesmo.
Processos e a hierarquia
Se imaginarmos uma hierarquia, com o presidente da empresa no topo e os desenvolvedores na base, podemos dizer que os processos ágeis funcionam de baixo para cima (bottom-up), fluindo da equipe, enquanto os processos "tradicionais" vêm de cima para baixo (top-down), partindo da gerência.
Não é raro a empresa adotar formalmente um processo como o RUP ou CMMI enquanto a equipe adota um processo scrum-like com um gerente fazendo a interface entre um mundo e outro.
Customização dos processos
Um ponto de vista interessante é que os processos ágeis começam com uma burocracia mínima e pode-se acrescentar ao processo o que mais for necessário. Por outro lado, frameworks com o RUP trazem um arsenal de papéis, atividades, artefatos e você precisa retirar os que você não vai usar.
No fim das contas, após passar por um processo de adaptação, o RUP pode tornar-se praticamente a mesma coisa que o Scrum, apenas com um ponto de partida diferente.
Entregas parciais
Realmente existem projetos que demandam entregas parciais e outros com data marcada para a "entrega total". Mas o que a literatura e a experiência mostram é que o o modelo waterfall não funciona bem em praticamente nenhum tipo de projeto de software.
No caso de projetos com com "entrega total", o que geralmente se recomenda é gerar entregáveis e definir um "cliente" que vai testar o software executável. Pode ser um gerente, uma equipe de testes, o product owner ou alguém que tenha conhecimento suficiente sobre as regras de negócio.
Entretanto, na entrega para o usuário final, é inevitável um choque proporcional à quantidade de funcionalidades entregues, pois sempre haverá um gap entre o que foi entendido e o que realmente é necessário.
Enfim, se o cliente quer optar por uma entrega total, ele deve ser consciente de que o tempo necessário para ajustes não será pequeno.
E qual a diferença entre métodos ágeis e o RUP nesse sentido? Praticamente nenhuma. Observe as fases do RUP:
O RUP é dividido entre várias disciplinas, entre elas teste (test) e entrega (deployment).
Considere que a área colorida de cada disciplina representa o nível de atividade da mesma.
Desde a fase de Elaboração, o RUP já prevê atividades de teste e entrega. Aliás a ideia toda dessa fase é ter uma arquitetura executável para mitigar os maiores riscos do projeto cedo.
Voltando ao contraste entre RUP e Scrum, é claro que pode haver diferenças no tamanho da iteração e na quantidade de entregas. Considerando ainda práticas do XP, testes unitários e automação dos builds podem trazer grandes benefícios. Porém, tudo isso acaba mais em questões técnicas e particulares da equipe do que no processo em si.
Com exceção do XP, que possui várias definições técnicas, Scrum e RUP são abstratos demais do desenvolvimento de software para impor uma diferença muito grande.
Entretanto, algo que influencia muito no planejamento, é que o Scrum procura dar ao cliente a possibilidade de definir quais funcionalidades ele quer primeiro. A ideia é entregar ao cliente o que traz valor ao negócio o mais rápido possível.
É claro que isso diminui a flexibilidade do desenvolvedor ou gerente ao planejar. Também é algo difícil de conseguir, que causa um pouco overhead no desenvolvimento e exige uma capacidade considerável de quem modela e desenvolve.
É um trade-off. Alguns pendem para um lado, enquanto outros vão para o outro. É muito mais fácil desenvolvedor um sistema linearmente do que começar direto pelo core e, como pregam algumas metodologias ágeis, refatorar o sistema até que ele passe a fazer tudo o que é necessário.
Considerações gerais
Frameworks de processos como o RUP foram concebidos como ferramentas aos gerentes. Metodologias ágeis focam na auto-organização da equipe. Em empresas, ambos acabam sendo de alguma forma necessários.
Por outro lado, os relatos em geral indicam que empreendedores, startups e mesmo grandes empresas de alta tecnologia têm tirado muito mais vantagem em "desburocratizar" o processo de desenvolvimento, é claro, contando com desenvolvedores experientes e altamente capacitados para isso.
Algo importantíssimo é considerar que controle, assim como qualidade, tem um custo embutido. O aumento da burocracia diminui a produtividade exponencialmente e, muitas vezes, cria entraves desnecessários. Embora isso possa ser até desejável em certos ambientes (Bancos, Bolsa de Valores, Seguradoras), não creio ser recomendável empresas nascentes, cuja dinâmica e flexibilidade são os diferenciais para conseguir entrar no mercado.
Conclusão
O que todos podem (e deveriam) fazer é procurar entender o funcionamento e o objetivo de cada processo, além das boas práticas que cada um procura disseminar. Com esse conhecimento em mãos, é possível adotar as que forem mais importantes para o projeto sem a necessidade de adotar um rótulo de processo em si.
E algo que todos devem ter em mente, é que processo algum faz mágica na qualidade ou na produtividade. Pelo contrário, pode atrapalhar. Algo que todos concordam hoje é que:
Indivíduos e interação entre eles mais que processos e ferramentas