Para imagens em memória, existem vários formatos possíveis, basicamente de acordo com o número de bits por pixel, que em geral pode variar de 1 (preto ou branco) até 32 (8 para o vermelho, 8 para o verde, 8 para o azul e 8 para o *alpha*). Os mais comuns são:

* 1 bit por pixel - Preto ou branco.

* 2 bits por pixel - Preto, branco e 2 tons de cinza.

* 4 bits por pixel - 16 tons de cinza.

* 8 bits por pixel - 256 tons de cinza.

* 2 bits por pixel - Preto, branco, ciano e magenta.

* 2 bits por pixel - Preto, branco, verde e vermelho.

* 4 bits por pixel - Cores básicas escolhidas de acordo com uma palheta de cores.

* 8 bits por pixel - 256 cores escolhidas de uma palheta.

* 16 bits por pixel - Capaz de representar 65536 cores distintas. Desses bits, temos 5 para o componente vermelho, 6 para o componente verde e 5 para o componente azul. A ordem dos bits pode ser RGB (vermelho-verde-azul) ou BGR (azul-verde-vermelho).

* 24 bits por pixel - capaz de representar 16777216 cores distintas. São usados 8 bits para cada componente de cor. A ordem dos bits pode ser RGB ou BGR.

* 32 bits por pixel - Igual ao caso dos 24 bits por pixel, mas acrescentando um byte para representar a transparência, ou mais precisamente o *alpha*, que a opacidade, o oposto da transparência. Um alpha de valor zero indica total transparência, enquanto que um *alpha* de valor máximo (255 neste caso) indica uma cor totalmente opaca. O conceito de transparência/opacidade é útil quando você quiser desenhar imagens umas sobre as outras. A ordem dos bits pode ser ARGB, RGBA, ABGR ou BGRA.

Os formatos em arquivo são muitas vezes compactados e nem todos representam os pixels diretamente. Por exemplo:

* O JPG usa uma técnica matemática bem complicada chamada de [transformada rápida de Fourier](https://pt.wikipedia.org/wiki/Transformada_r%C3%A1pida_de_Fourier) para fazer compactação e reduzir o tamanho do arquivo.

* Há formatos (por exemplo, GIF) onde há um cabeçalho com uma palheta/tabela de cores e cada cor é um número de 0 a 255 de acordo com a tabela. Neste caso, podemos ter 0=azul, 1=laranja fosforescente, 2=verde musgo, 3=dourado... Dependendo de como está a tabela.

* O PNG também usa uma compactação com algumas similaridades com o ZIP.

* Transmissões de TV analógicas utilizam dois componentes para cores e um para o brilho, para ser compatível com formatos de TV preto-e-branco que só tinham o brilho.

Assim sendo, tratar os pixels diretamente nesses formatos é difícil, e convém muito mais você ler os arquivos, convertendo-os em bitmaps diretamente na memória e então manipular esses pixels diretamente na memória.

Na prática, não vale a pena se preocupar muito com os formatos dos arquivos, vale mais a pena utilizar uma biblioteca pronta para ler e escrever imagens nesses formatos e se preocupar então apenas com os bitmaps em memória.

Como o colega Luiz Vieira mencionou em comentários, o OpenCV é uma biblioteca bem rica e amplamente difundida que já tem muitas dessas coisas já prontas para se usar.