É válido sim, tem muita gente que faz sem um ORM ou usando um ORM simplificado como o Dapper. E é isso que dá para responder objetivamente.
Tem diversas vantagens em fazer assim, tem algumas desvantagens também, mas vou dizer uma coisa que é só minha opinião: a maioria dos projetos não precisam de um ORM, ou pelo menos são poucos os que tem grandes benefícios.
Uma boa parte do ganho do ORM tem a ver com o jeito de se desenvolver, como tipo de arquitetura e design que adota.
É óbvio que sem usar um algumas coisas que estão prontas você terá que fazer na mão. Se souber fazer bem pode ser uma boa porque fica mais adaptado à sua necessidade e entenderá bem como tudo funciona. Claro que corre o risco de fazer um frankestein, pode gerar trabalho excessivo, pouca flexibilidade, facilidade de manutenção, etc. Aí vai da qualidade de quem está fazendo. Se fizer bem e puder reaproveitar em outros projetos pode compensar já que o aprendizado do EF realmente não é simples.
O que é bom pra você ninguém poderá responder. Você vai gastar tempo em qualquer caso. UM ORM simples ou o acesso direto tem outras vantagens. É verdade que muitas deles não são necessárias na maioria dos projetos. É praticamente uma decisão de qual problema você quer lidar.
Ironicamente desenvolvedores menos experientes costumam se dar melhor com ORM já que ele entrega muita coisa pronta que só um desenvolvedor experiente conseguirá fazer sem o ORM.
A verdade é que só com a experiência é que poderá tomar uma decisão apropriada.