Ótima maturidade na sua interpretação. O que você está percebendo é que, um entidade oblíqua tem sua visão modificada por quem a está olhando. Pegando o exemplo de uma Pessoa:
- O governo te enchergaenxerga como RG, CPF, Estado Civil, etc;
- Seus pais te enxergam como Olhos do Pai, Sorriso da Mãe, Timbre de Voz, etc;
- O medico te enxerga como Sexo, Peso, Altura, Colesterol, etc;
- O carteiro te enxerga como Nome, CEP, Número, etc;
Isso quer dizer que, uma mesma entidade muda para cara contexto.
Em arquitetura de software, esse pattern chama-se Bounded Context ou Contextos Delimitados.
Essa postura atende esse "incômodo" que você está sentindo. Sua solução completa pode, e deve, possuir micro-módulos/serviços - totalmente isolados, inclusive. No módulo de cadastro de pessoas, tem-se a entidade Pessoa com nome, data de nascimento, telefones, enfim, informações pertinentes ao contexto de cadastro de pessoas.
E em outro módulo, bancário, tem-se a entidade Correntista, onde possui agencia, conta, imagem da assinatura, etc. Neste módulo, sua entidade possui setters para manipular dados bancários, mas nenhum para manipular cadastro de pessoas. E vice-versa.
Concluindo, veja sobre Contextos Delimitados que irá atender essa necessidade que você já está sentindo, e faz todo sentindo em desenvolvimento de software de maneira responsável.