Acho que está pensando na solução certa. Vou elencar as opções.
Imaginando que precisaria de cálculos, a melhor solução é não fazer isto. O correto seria uma forma de normalizar o valor. Por exemplo, se optar pela notação decimal, então grave 0,25 para 15min ou 5 para 5h.
Se não for possível normalizar adequadamente e realmente precisar saber quando entrou decimal ou em tempo, aí a solução é ter dois campos distintos e um auxiliar indicando qual dos dois usar. Eventualmente não precisaria deste campo auxiliar se puder trabalhar com nulo, assim o que não for usado ficaria nulo. Evidentemente que a aplicação (ou uma restrição no banco de dados) teria que cuidar para nunca ter ambos usados.
Se isto não puder ser feito, qualquer solução será ruim.
- Entretanto, se o campo é meramente descritivo e pouco importa para a aplicação o que tem dentro dele, aí usar uma string pode ser o mais adequado.
O botão para selecionar pode ser uma boa. Dependendo da opção impediria o preenchimento do outro ou até mesmo mudaria o campo único mostrado para o usuário. Pode trocar a máscara. Pode ser que nem precise disto.
É possível a aplicação cliente identificar que um foi digitado e impedir a digitação do outro. Tem que informar bem o usuário que para liberar o outro, se ele quiser, tem que apagar um destes campos. Não estou dizendo que é a melhor solução para seus usuários.
Não posso dizer sobre a máscara porque não sei o que pode e o que não pode. De qualquer forma acho que isso já é uma outra pergunta com um problema diferente (faça separado).