A parte mais complicada de tudo eu creio que seja realmente essa. Independente da arquitetura e stack que vc escolhe, sempre irá cair nesse dilema.
Humildemente vou tentar reponder isso na minha perspectiva de gerente de projetos a qual me coloca diariamente a frente de precificação e design das aplicações.
Eu primeiramente me perguntaria o seguinte antes de começar:
Isto trata-se de um processo circunscrito, ou seja, temos a visão atual do processo do início ao fim? Eu consigo colocar isso em um project (gantt chart) e orçar isso de forma organizada?
Se sim, nesse caso basta entendermos os processos envolvidos, e desenvolver em ordem cronológica na qual os clientes estão envolvidos para seguir com o desenvolvimento.
Nesse caso, poucas conversas com os clientes resolvem. Geralmente no máximo 3 conversas.
Geralmente quebramos em "must haves", "nice to haves" e "good to haves". Depois que acabar os "must haves" se sobrar tempo ai vamos para os outros (diga-se de passagem o que geralmente nunca acontece).
Nessa situação sabe-se antecipadamente (de forma aproximada) o "quanto custa" e "quando fica pronto".
Caso não trate-se de algo que já funciona atualmente e estejamos falando de alguma "ruptura", ou seja, um novo produto ou serviço, no qual não existe?
Nesse caso o modelo de gestão e desenvolvimento deve ser orientado a Sprints. Temos uma vaga idéia de quanto vai custar e de nenhuma idéia de quando fica pronto.
Nessa situação temos um universo no qual a coisa poderá NUNCA acabar pois sempre haverá melhora contínua.
Nesse caso eu diria que o "bolso" do cliente ou do dono da coisa vai dizer até aonde esse aprimoramento contínuo seguirá.
Será um MVP? Será um app de milhões investidos?
O quanto o jogo de desenvolvimento irá durar estará diretamente ligado a quantia ou tempo de quem quer investir na coisa.
Concluindo
Como mencionado: "diferentes metas dão origem a diferentes compromissos de espaço e tempo".
Isso resume tudo. Existem situações em que o design está bem claro e determinado. O usuário precisa de um sistema de emissão de NFE integrado com SAP. Você não precisa de um design muito arrojado para atendê-lo. Se for web, um bootstrap, coreUI com um backend simples pode resolver. Você não vai fazer um app com backend em microservices ou utilizar um designer conceituado para fazer o formulário. Não há muito além do que foi passado a ser enxergado.
O cliente quer um aplicativo para estimar a cotação do dólar nos próximos 20 dias analisando noticias na web e determinadas fontes. Isso pode tender ao infinito em desenvolvimento.
Tudo vai do cenário e eu diria que por experiência, pelo tamanho do investimento disponível.