JEE abrange várias coisas. Uma delas é a especificação (não implementação) JPA, que foi feita inspirada no framework de ORM Hibernate, e posteriormente o Hibernate se adaptou a ela e implementou essa especificação (mas também manteve particularidades que não seguem a JPA, não sei se na mesma versão).
Persistência não envolve só ORM, pode ser feita até em arquivos-textos, então não sei se eles tratam só de ORM ou não. Mas certamente a parte de ORM tem um grande peso na especificação.
Você pode adotar uma implementação de JPA (que pode ser Hibernate ou outra) na sua aplicação JSE para fazer a persistência de dados. Não acho que dê para dizer que virou uma aplicação JEE porque a JEE são várias coisas e uma delas que me parece central são os EJBs e as propriedades que eles têm rodando em um container, e que não estarão sendo utilizados no caso, mas sua aplicação estará adotando uma especificação que faz parte da JEE, no caso o modelo de persistência.
(Posso estar falando besteira, você disse que o EJB container injeta a persistence unit (que deve ser portanto um EJB), né? Então já não entendo mais nada rs. Mesmo assim acho que eu classificaria como JEE a sua aplicação se ela usasse outros recursos JEE que não só a persistência. Ou pelo menos se usasse JPA/Hibernate para também estar usando EJBs e não só o Hibernate. Ah sei lá...).
Introdução a isso acho que seriam coisas como ler a especificação da JEE, a da JPA, e a página do Hibernate. Wikipedia em inglês também pode ajudar. E também ler sobre a diferença entre JPA e Hibernate; a versão não-JPA deste último pode dispor de otimizações para certos bancos ou para o tratamento de dados em geral que a JPA por tentar ser mais generalista não oferece.
P.S.: De Spring eu não sei nada, quem quiser complementar fique à vontade. E posso ter falado alguma coisa desatualizada.