Para imagens em memória, existem vários formatos possíveis, basicamente de acordo com o número de bits por pixel, que em geral pode variar de 1 (preto ou branco) até 32 (8 para o vermelho, 8 para o verde, 8 para o azul e 8 para o *alpha*). Os mais comuns são:

* 1 bit por pixel - Preto ou branco.

* 2 bits por pixel - Preto, branco e 2 tons de cinza.

* 4 bits por pixel - 16 tons de cinza.

* 8 bits por pixel - 256 tons de cinza.

* 2 bits por pixel - Preto, branco, ciano e magenta.

* 2 bits por pixel - Preto, branco, verde e vermelho.

* 4 bits por pixel - 16 cores básicas escolhidas de acordo com uma palheta de cores. Normalmente essas cores são preto, branco e dois tons de cada uma dessas cores: cinza; azul; vermelho; verde; amarelo; ciano e magenta.

* 8 bits por pixel - 256 cores escolhidas arbitrariamente de uma palheta/tabela.

* 16 bits por pixel - Capaz de representar 65536 cores distintas. Desses bits, temos 5 para o componente vermelho, 6 para o componente verde e 5 para o componente azul. A ordem dos bits pode ser RGB (vermelho-verde-azul) ou BGR (azul-verde-vermelho).

* 24 bits por pixel - capaz de representar 16777216 cores distintas. São usados 8 bits para cada componente de cor. A ordem dos bits pode ser RGB ou BGR.

* 32 bits por pixel - Igual ao caso dos 24 bits por pixel, mas acrescentando um byte para representar a transparência, ou mais precisamente o *alpha*, que é a opacidade, o oposto da transparência. Um *alpha* de valor zero indica total transparência, enquanto que um *alpha* de valor máximo (255 neste caso) indica uma cor totalmente opaca. O conceito de transparência/opacidade é útil quando você quiser desenhar imagens umas sobre as outras. A ordem dos bits pode ser ARGB, RGBA, ABGR ou BGRA.

Os formatos em arquivo tais como PNG, GIF, JPG, PCX, BMP, TGA, TIF, PGM, PPM, PBM, etc são muitas vezes compactados e nem todos representam os pixels diretamente. Eles tem largas diferenças entre si e cada um tem um formato único e bastante diferente dos demais. Por exemplo:

* O JPG usa uma técnica matemática bem complicada chamada de [transformada rápida de Fourier](https://pt.wikipedia.org/wiki/Transformada_r%C3%A1pida_de_Fourier) para fazer compactação e reduzir o tamanho do arquivo.

* Há formatos (por exemplo, GIF) onde há um cabeçalho com uma palheta/tabela de cores e cada cor é um número de 0 a 255 de acordo com a tabela. Neste caso, podemos ter 0=azul, 1=laranja fosforescente, 2=verde musgo, 3=dourado... Dependendo de como está a tabela.

* O PNG também usa uma compactação com algumas similaridades com o ZIP.

* Transmissões de TV analógicas utilizam dois componentes para cores e um para o brilho, para ser compatível com formatos de TV preto-e-branco que só tinham o brilho.

Assim sendo, tratar os pixels diretamente nesses formatos é difícil, e convém muito mais você ler os arquivos, convertendo-os em bitmaps diretamente na memória e então manipular esses pixels diretamente na memória.

Na prática, não vale a pena se preocupar muito com os formatos dos arquivos, vale mais a pena utilizar uma biblioteca pronta para ler e escrever imagens nesses formatos e se preocupar então apenas com os bitmaps em memória.

Como o colega Luiz Vieira mencionou em comentários, o OpenCV é uma biblioteca bem rica e amplamente difundida que já tem muitas dessas coisas já prontas para se usar.