A pergunta é bem opinativa, na época era bem aceita, tem opiniões aqui e decidi porpôr a minha que é diferente.
ORM é uma excelente ferramenta para dar alguma produtividade para criar CRUDs e acessos à dados quando se domina uma dessas ferramentas e precisa dessa produtividade. Ou seja, quando você faz códigos repetitivos que muda só o modelo de dados, mas no fundo o que está sendo feito é o de sempre e não muda muito, é uma mão na roda.
Na verdade, nem acontece tanto assim, já que muitos sistemas não precisam de manutenção de tão simples que eles são.
Claro, isso sempre considerando que a pessoa saiba o que está fazendo. Quando a pessoa não sabe, ORM ou não, muda muito pouco, ela vai errar e a sorte vai definir se ela terá um pequeno ou um grande problema. Por acaso a maioria dos casos ondeem que as pessoas usam ORM não faz muita diferença.
O problema da ideia que está fazendo algo simples é que no futuro pode deixar de ser simples, as coisas evoluem, e aí será um problema lidar com o ORM. Então tenha certeza de que o ORM nunca será um problema. Não basta não ser um problema hoje.
De fato, não é fácil achar qual é o ORM adequado para seu caso. E isso é importante porque você se casa com ele, o que dará para fazer com facilidade depende do que ele oferece, não é tudo igual.
Na prática as pessoas aceitam os defeitos do ORM escolhido nos casos ondeem que ele não se encaixa bem. Ou seja, a solução é péssima.
Por que não adotar o modelo relacional na aplicação? Se tudo leva a isto, deveria ser óbvio que é a solução mais adequada. Ela é eficaz, não é difícil de usar, só não é tão bonitinha e não está na moda. Durante muito tempo as pessoas faziam assim e ninguém dizia que era um enorme problema. Um dia alguém apareceu com esse tal de ORM dizendo que era mais bonito fazer assim e as pessoas começaram adotar. Os problemas começaram a aparecer depois, mas aí já tinha pegopegado moda.
Para coisas simples, para algo rápido, para situações ondeem que não cause malefícios, o ORM pode ser usado, e muitos casos são assim.
Mesmo com algumas melhoras recentes, se quer eficiência e desempenho, não use ORM. Até para deixar próximo do ideal dá muito trabalho. Mas reforçando, sem conhecimento adequado, terá problemas para obter desempenho com ou sem ORM.
Coloquei no GitHub para referência futura