Para fazer o que você precisa, basta percorrer os pixels da imagem usando a função [`Mat::at`][1]. Essa função permite acessar o valor de um pixel em uma dada coordenada `x` e `y`.

A conversão para tons de cinza pode ser realizada de algumas formas diferentes. O jeito mais simples é com o método da média: você basicamente tira a média dos valores em cada banda de cor (vermelho, verde e azul) para obter um só valor de intensidade luminosa. Outro método um pouco melhor é o da extração do brilho. Neste método, você tira a média *apenas* do maior e do menor valor dessas bandas (ignorando assim aquela cor intermediária). Por fim, o método mais utilizado porque está diretamente relacionado com a forma como os humanos percebem o mundo. As proporções empregadas nessa fórmula decorrem das proporções dos cones (células fotossensíveis na retina humana). O ser humano é mais sensível ao verde, e por isso esse método é o mais utilizado:

<!--
URL da fórmula:
https://chart.googleapis.com/chart?cht=tx&chl=\text{intensidade}%20%3D%200%2C21%20\times%20\text{vermelho}%20%2B%200%2C72%20\times%20\text{verde}%20%2B%200%2C07%20\times%20\text{azul}
-->
[![inserir a descrição da imagem aqui][2]][2]

Já a limiarização (*thresholding*, o processo utilizado para criar uma imagem binária) é bem mais simples. Basta processar todos os pixels e trocá-los para `0` (o equivalente a preto) ou `255` (o equivalente a branco) dependendo se eles forem acima ou abaixo de um limiar escolhido. A escolha de como fazer é uma convenção, mas costuma-se transformar em `0` se o valor for menor ou igual e transformar em `255` se for maior do que o limiar. A escolha do limiar é baseada no que se deseja fazer (por exemplo, separar objetos do fundo) e também da distribuição das cores na imagem (use o [histograma de cores][3] para fazer essa análise).

Eis um código de exemplo que faz o que foi explicado:

    #include <opencv2/highgui/highgui.hpp>

    using namespace cv;

    // Método da Média: Média dos valores das cores
    uchar metodoMedia(Vec3b RGB)
    {
        uchar azul = RGB.val[0];
        uchar verde = RGB.val[1];
        uchar vermelho = RGB.val[2];

        return (uchar) ((azul + verde + vermelho) / 3);
    }

    // Método do Brilho: Média dos valores máximos e mínimos das cores
    uchar metodoBrilho(Vec3b RGB)
    {
        uchar azul = RGB.val[0];
        uchar verde = RGB.val[1];
        uchar vermelho = RGB.val[2];

        return (uchar) ((std::max(std::max(azul, verde), vermelho) + std::min(std::min(azul, verde), vermelho)) / 2);
    }

    // Método da Luminosidade: Ponderação decorrente das proporções médias de cones no olho humano
    uchar metodoLuminosidade(Vec3b RGB)
    {
        uchar azul = RGB.val[0];
        uchar verde = RGB.val[1];
        uchar vermelho = RGB.val[2];

        return (uchar) ((0.21 * vermelho) + (0.72 * verde) + (0.07 * azul));
    }

    int main()
    {
        // --------------------------------------------
        // Carrega a imagem original
        // --------------------------------------------

        Mat img = imread("lena.jpg"); // A imagem RGB carregada é CV_8UC3 porque tem três canais, as cores (R + G + B).

        int largura = img.size().width;
        int altura = img.size().height;

        // --------------------------------------------
        // Cria uma nova imagem em tons de cinza
        // (com o método de luminosidade)
        // --------------------------------------------

        Mat gray(largura, altura, CV_8UC1); // A nova imagem criada só tem 1 canal (CV_8UC1), a intensidade luminosa.

        int x, y;
        for(x = 0; x < largura; x++)
        {
            for(y = 0; y < altura; y++)
            {
                Vec3b pixel = img.at<Vec3b>(x, y);
                uchar intensidade = metodoLuminosidade(pixel);
                gray.at<uchar>(x, y) = intensidade;
            }
        }

        // --------------------------------------------
        // Cria uma imagem binarizada
        // --------------------------------------------

        Mat bin(largura, altura, CV_8UC1); // Essa imagem também só tem 1 canal, de preto e branco.
        uchar limiar = 128; // Limiar utilizado.

        // O método é o seguinte:
        // Pixels com luminosidade abaixo do limiar se tornam "preto" (0), e acima se tornam "branco" (255).
        for(x = 0; x < largura; x++)
        {
            for(y = 0; y < altura; y++)
            {
                Vec3b pixel = img.at<Vec3b>(x, y);
                uchar intensidade = metodoLuminosidade(pixel);

                if(intensidade <= limiar)
                    bin.at<uchar>(x, y) = 0;
                else
                    bin.at<uchar>(x, y) = 255;
            }
        }

        namedWindow("Imagem Original");
        imshow("Imagem Original",img);

        namedWindow("Imagem em Cinza");
        imshow("Imagem em Cinza", gray);

        namedWindow("Imagem Binária");
        imshow("Imagem Binária", bin);

        cvWaitKey();

        return 0;
    }

O resultado desse código são as seguintes janelas:

[![inserir a descrição da imagem aqui][4]][4]

Apesar do método de luminosidade (aquele decorrente da percepção humana) ser o mais usado, nota-se que os outros métodos geram resultados bastante parecidos. Veja nos exemplos abaixo (eu não coloquei o código que gera essas imagens, mas basta usar os três métodos que existem no código anterior):

[![inserir a descrição da imagem aqui][5]][5]

Deve ser possível notar que a última imagem é mais escura (tem uma intensidade luminosa média maior). Isso decorre do fato de se dar mais peso ao verde no método de luminosidade. Essa escolha geralmente é melhor porque torna as imagens mais bonitas para a percepção humana.

  [1]: http://docs.opencv.org/modules/core/doc/basic_structures.html#mat-at
  [2]: https://i.sstatic.net/bE1sB.png
  [3]: http://www.cambridgeincolour.com/pt-br/tutorials/histograms2.htm
  [4]: https://i.sstatic.net/EI85h.png
  [5]: https://i.sstatic.net/7SP6i.png