A pergunta é bem opinativa, na época era bem aceita, tem opiniões aqui e decidi pôr a minha que é diferente.
Porque usar
ORM é uma excelente ferramenta para dar alguma produtividade para criar CRUDs e acessos à dados quando se domina uma dessas ferramentas e precisa dessa produtividade. Ou seja, quando você faz códigos repetitivos que muda só o modelo de dados, mas no fundo o que está sendo feito é o de sempre e não muda muito, é uma mão na roda.
Também pode ser útil na mão de quem não sabe lidar bem com os mecanismos de persistência de dados. Não quer dizer que o ORM tornará tudo ótimo, mas há uma tendência da pessoa errar menos, principalmente em termos de segurança quando usa algo pronto.
Isso acaba implicando que sejam sempre códigos simples. Quando entra em sistemas complexos todo mundo sabe que tem que começar a contornar o ORM e fazer gambiarras para atender as demandas. E como o futuro sempre reserva incertezas, em algum momento você pode ter um monstro na mão e ele começa a ser pior do que se não tivesse usado.
Na verdade, nem acontece tanto assim, já que muitos sistemas não precisam de manutenção de tão simples que eles são.
Porque não usar
Algumas pessoas adotam para não ter que lidar com SQL. Esse é um dos piores motivos para adotar ORM, inclusive porque qualquer coisa mais sofisticada obrigará usar SQL e do jeito mais difícil, e mesmo quando não precisa usar o SQL não quer dizer que não precisa saber modelar e fazer consultas de forma adequada. A parte difícil é criar os modelos e consultas, não é o SQL.
Outro motivo terrível para adotar o ORM é para facilitar a troca do banco de dados no futuro.
Isso não faz sentido porque quase ninguém troca o DB, e se trocar, o erro foi tão grande que o ORM não vai te salvar. Mesmo que troque, o ORM não faz tudo ficar lindo e maravilhoso. O ORM nivela por baixo, ele não funciona bem em banco de dados algum, salvo os usos mais básicos.
O mais comum da pessoa querer trocar o banco de dados é porque o ORM está criando um gargalo porque ele não aproveita bem os recursos do DB adotado. Ou seja, se você usar os recursos de forma direta e adequada para aquele DB sem passar pelo ORM não teria o problema.
Claro, isso sempre considerando que a pessoa saiba o que está fazendo. Quando a pessoa não sabe, ORM ou não, muda muito pouco, ela vai errar e a sorte vai definir se ela terá um pequeno ou um grande problema. Por acaso a maioria dos casos em que as pessoas usam ORM não faz muita diferença.
O problema da ideia que está fazendo algo simples é que no futuro pode deixar de ser simples, as coisas evoluem, e aí será um problema lidar com o ORM. Então tenha certeza de que o ORM nunca será um problema. Não basta não ser um problema hoje.
Vou concordar com a resposta que diz que as vantagens do ORM desaparecem quando se torna complexo; e que modelo de objetos não são bons para fazer consultas em banco de dados relacionais.
Outro motivo para não usar é porque há brigas religiosas sobre qual ORM usar, a tal ponto que há quem diga que deva implementar uma camada para poder trocar o ORM se for necessário. Nem quero comentar sobre essa atrocidade.
De fato, não é fácil achar qual é o ORM adequado para seu caso. E isso é importante porque você se casa com ele, o que dará para fazer com facilidade depende do que ele oferece, não é tudo igual.
Na prática as pessoas aceitam os defeitos do ORM escolhido nos casos em que ele não se encaixa bem. Ou seja, a solução é péssima.
As pessoas só escolhem o ORM certo depois de escolher muitas vezes o errado. E nem todos conseguem fazer essa evolução, a maioria só aceita o que tem, como dito antes.
MicroORMs
Isso é outra coisa, inclusive as pessoas dizem que nem é ORM porque ele não implementa o padrão Repository ou pelo menos o Active Record.
Pra mim ORM é só o mapeamento de dados entre o banco de dados e a linguagem já que nem sempre tem tipos compatíveis. Algumas pessoas consideram que tem que mapear na forma de objeto. Seja o que for, o chamado MicroORM é algo necessário e útil, a não ser que a linguagem seja integrada com o banco de dados, o que é muito raro.
O ORM full é um "facilitador" para fazer o modelo relacional do banco de dados com o modelo de objeto da aplicação.
Há algo chamado impedance mismatch. Que também é classificado como o Vietnã da Computação.
Outras soluções
Algumas pessoas resolveram o problema acabando com o relacional e adotando NoSQL, assim poderia modelar como objeto no banco de dados. E aí eu não sei nem do que chamar isso, já que o nome apropriado já foi tomado pelo abuso do ORM. Não tem nada pior do que você modelar de forma ineficiente e que dificulta a programação e quase inviabiliza a consistência, só para não usar um ORM ou mudar sua aplicação para a forma que deveria.
É claro que existem casos que o NoSQL é útil, mas não para deixar de usar ORM. As pessoas que adotam o NoSQL admitem que o ORM é coisa ruim, mas resolvem tomar um veneno em vez de uma vacina.
Por que não adotar o modelo relacional na aplicação? Se tudo leva a isto, deveria ser óbvio que é a solução mais adequada. Ela é eficaz, não é difícil de usar, só não é tão bonitinha e não está na moda. Durante muito tempo as pessoas faziam assim e ninguém dizia que era um enorme problema. Um dia alguém apareceu com esse tal de ORM dizendo que era mais bonito fazer assim e as pessoas começaram adotar. Os problemas começaram aparecer depois, mas aí já tinha pegado moda.
Entity Framework x nHibernate
O EF é oficial da Microsoft, evolui muito bem. Dizem que é mais fácil e está ficando rápido, até onde dá.
O NHibernate é mais complexo e poderoso, e tem mais problemas por ser mais antigo. Há quem diga que depois de um tempo você se arrepende de usar algo mais simples, o complexo acaba te ajudando na parte mais difícil. Hoje ele é bem pouco popular e é adotado ou por legado ou moda, ou porque quem tem um conhecimento mais avançado e adota ORM com uma pouco mais de consciência.
Conclusão
Para coisas simples, para algo rápido, para situações em que não cause malefícios, o ORM pode ser usado, e muitos casos são assim.
Mas se quer um sistema mais bem feito, mais eficiente, que você tenha mais controle, que seja mais tranquilo para dar manutenção, onde quer algo de mais qualidade, o ORM não deveria ser usado.
Note que não estou dizendo que sempre que usar ORM não terá qualidade mínima, um prato de 5,00 pode ser nutritivo, gostoso e mata a fome. Um de 50,00 fará o mesmo de forma melhor. Tem hora para tudo.
Não existe caso único que deve ou não usar, depende da pessoa, depende do projeto e depende da demanda de qualidade.
Mesmo com algumas melhoras recentes, se quer eficiência e desempenho, não use ORM. Até para deixar próximo do ideal dá muito trabalho. Mas reforçando, sem conhecimento adequado, terá problemas para obter desempenho com ou sem ORM.
Coloquei no GitHub para referência futura.