Para imagens em memória, existem vários formatos possíveis, basicamente de acordo com o número de bits por pixel, que em geral pode variar de 1 (preto ou branco) até 32 (8 para o vermelho, 8 para o verde, 8 para o azul e 8 para o alpha). Os mais comuns são:
1 bit por pixel - Preto ou branco.
2 bits por pixel - Preto, branco e 2 tons de cinza.
4 bits por pixel - 16 tons de cinza.
8 bits por pixel - 256 tons de cinza.
2 bits por pixel - Preto, branco, ciano e magenta.
2 bits por pixel - Preto, branco, verde e vermelho.
4 bits por pixel - 16 cores básicas escolhidas de acordo com uma palheta de cores. Normalmente essas cores são preto, branco e dois tons de cada uma dessas cores: cinza; azul; vermelho; verde; amarelo; ciano e magenta.
8 bits por pixel - 256 cores escolhidas arbitrariamente de uma palheta/tabela.
16 bits por pixel - Capaz de representar 65536 cores distintas. Desses bits, temos 5 para o componente vermelho, 6 para o componente verde e 5 para o componente azul. A ordem dos bits pode ser RGB (vermelho-verde-azul) ou BGR (azul-verde-vermelho).
24 bits por pixel - capaz de representar 16777216 cores distintas. São usados 8 bits para cada componente de cor. A ordem dos bits pode ser RGB ou BGR.
32 bits por pixel - Igual ao caso dos 24 bits por pixel, mas acrescentando um byte para representar a transparência, ou mais precisamente o alpha, que é a opacidade, o oposto da transparência. Um alpha de valor zero indica total transparência, enquanto que um alpha de valor máximo (255 neste caso) indica uma cor totalmente opaca. O conceito de transparência/opacidade é útil quando você quiser desenhar imagens umas sobre as outras. A ordem dos bits pode ser ARGB, RGBA, ABGR ou BGRA.
Os formatos em arquivo tais como PNG, GIF, JPG, PCX, BMP, TGA, TIF, PGM, PPM, PBM, etc são muitas vezes compactados e nem todos representam os pixels diretamente. Eles tem largas diferenças entre si e cada um tem um formato único e bastante diferente dos demais. Por exemplo:
Alguns formatos, como o BMP, o PGM e o PPM, representam os pixels diretamente e de forma sequencial.
O PNG usa uma compactação com algumas similaridades com o ZIP.
Há formatos (por exemplo, GIF) onde há um cabeçalho com uma palheta/tabela de cores e cada cor é um número de 0 a 255 de acordo com a tabela. Neste caso, podemos ter 0=azul, 1=laranja fosforescente, 2=verde musgo, 3=dourado... Dependendo de como está a tabela.
Transmissões de TV analógicas utilizam dois componentes para cores (crominância) e um para o brilho (luminância), para ser compatível com formatos de TV preto-e-branco que só tinham o brilho. Esse mesmo conceito é usado também no JPG.
Há formatos que usam algumas técnicas matemáticas bem complicadas que surgem da necessidade de se representar informações que representam ondas (com frequência, amplitude e fase) na forma de pontos discretos e compactos. Disso advém a transformada rápida de Fourier e a transformada discreta do cosseno. Elas são frequentes na conversão de formatos analógicos para digitais e também para espremer o máximo possível de informações sobre a imagem na menor área possível. O JPG, por exemplo, utiliza a transformada discreta do cosseno.
Assim sendo, tratar os pixels diretamente em muitos desses formatos é difícil, e convém muito mais você ler os arquivos, convertendo-os em bitmaps diretamente na memória e então manipular esses pixels diretamente na memória.
Na prática, não vale a pena se preocupar muito com os formatos dos arquivos, vale mais a pena utilizar uma biblioteca pronta para ler e escrever imagens nesses formatos e se preocupar então apenas com os bitmaps em memória.
Como o colega Luiz Vieira mencionou em comentários, o OpenCV é uma biblioteca bem rica e amplamente difundida que já tem muitas dessas coisas já prontas para se usar.