O ideal seria trabalhar diretamente com a libpng ou a libjpeg. É verdade que são bibliotecas que, a uma primeira vista, parecem complexas e esotéricas mas elas dão o que você e são somente isso - abrir uma imagem do formato delas e te dar um ponteiro para uma array com os dados da imagem. Um exemplo de leitura de arquivo com a libpng: http://zarb.org/~gc/html/libpng.html
Se você não quiser trabalhar com o baixo nivel das várias bibliotecas de carga de imagem não tem jeito senão usar algo que as envolva em uma camada de abstração, como a ITK, a OpenCV ou a VTK (essa ultima carrega também capacidades de exibição da imagem). A SDL também seria uma boa alternativa e é mais simples de usar que as que eu citei acima.
Quanto a facilidade de instalação, depende de você saber usar ou não o CMake. Se você souber usar o Cmake toda biblioteca de c/c++ se torna fácil de usar, bastando por o diretório dos .h e o caminho pro .lib no Cmake segundo as regras dele. Se você não souber usar o Cmake, você terá problemas.