TL;DR
Em termos gerais, sim. E não só para um projeto, mas para a família inteira de projetos se possível.
Exemplo prático
Vamos tomar como exemplo a recém lançada linguagem de design da Atlassian (Atlassian Design Guidelines).
Aviso: trabalho na Atlassian, mas como desenvolvedor e não como designer.
A empresa tem focado, especialmente no último ano, numa reestruturação profunda em termos de UI/UX, o que começou com a próprio marca (logos e tipografias) até a padronização dos componentes utilizados em seus diversos produtos com o AtlasKit.
É importante salientar que tudo isto não é uma simples frescura, fetiche, uma decisão aleatória ou porque porque a empresa tem dinheiro sobrando.
Foram realizadas frequentes e variadas pesquisas, incluindo feedback de milhares de usuários ao redor do mundo e diversos outros dados estatísticos, e chegou-se à conclusão de que oferecer uma experiência consistente (dentre outras características) nos seus diversos produtos é essencial para o negócio.
Além de seus próprios produtos, oferecer o guia de design para o público em geral, permite que terceiros criem integrações e extensões para os produtos da Atlassian mantendo uma experiência consistente para os usuários. Todos ganham.
"Frameworks visuais"
Obviamente, nem todas as empresas tem condições de investir em criar sua própria identidade, por isto tornam-se tão importantes como os "frameworks de design" citados na pergunta.
Faz todo sentido para um projeto que está começando especificar e adotar um padrão de design. Apenas seria importante ter um designer experiente para fazer isto de forma correta.
Riscos
Um fator importante a se considerar é que adotar um padrão de UI/UX para guiar o desenvolvimento não pode se tornar um fator limitador.
Há alguns anos, trabalhei numa empresa onde foi desenvolvido um padrão de design porém sem possibilidade razoável de extender os componentes.
Isso obrigava os desenvolvedores a criar "gambiarras visuais" para os casos mais "diferentes", que na realidade eram justamente os mais complexos e importantes.
Portanto, é um erro pensar que, montada uma especificação de design usando algum framework, o trabalho acabou. Designers são necessários de forma contínua, sempre que um novo tipo de interação for identificado.
Conclusão
Minha resposta, embora não deva ser interpretada como uma regra absoluta, é baseada em pesquisas, evidências e dados reais e objetivos dentro de um cenário comum a várias empresas, não sendo mero achismo ou filosofia arbitrariamente seguida.
Na prática, os questionamentos que persistem não são no sentido de se ter ou não um padrão de design - isto já é praticamente um consenso, mas da melhor forma possível de se fazer isto dentro do orçamento.