1 de 6
Luiz Vieira
  • 34,5mil
  • 6
  • 89
  • 160

Finalmente encontrei o tempo pra dar a minha resposta. :)

O colega @AndersonBS já te deu o caminho das pedras na resposta dele: uma vez tendo a região (um objeto cv::Rect com o retângulo definido pelas coordenadas x e y, largura width e altura height) onde está a face humana, copiar algo em cima é relativamente trivial, pois basta utilizar essa região de interesse (ROI, em inglês, Region of Interest) para copiar uma imagem sobre a outra.

Algo como: copiada.copyTo(original(roi)) (que copia a imagem copiada para a imagem original apenas na região retangular roi - que teria o mesmo tamanho de copiada).

O problema então se resume a como encontrar a região de uma face humana em uma imagem.

Detecção de faces em imagens digitais é um problema relevante e atual, e como você mesmo percebeu o OpenCV já tem um algoritmo bacana para isso: trata-se do algoritmo de Viola-Jones para a detecção de objetos (também popularmente chamado de Haar Cascade ou somente Cascade). Eu já dei uma explicação breve de como ele funciona nesta outra resposta, mas essencialmente ele utilizar um modelo previamente treinado para detectar um tipo específico de objeto de interesse (no seu caso, uma face humana). O OpenCV já vem com alguns modelos treinados, para detectar por exemplo faces humanas frontais, faces laterais (em perfil), nariz, olhos, boca, corpo inteiro, sorrisos, etc. Dê uma olhada nos arquivos encontrados na pasta build\etc\haarcascades da sua instalação do OpenCV. Mas, você pode também treinar o seu próprio detector. Há inúmeros tutoriais úteis na Internet, tal como esse.

Exemplo 1: Detecção e substituição apenas com o OpenCV

Assim, usando apenas o OpenCV e o detector padrão para faces frontais (isso mesmo: ele não funciona para rotações da cabeça em qualquer eixo), eu preparei um exemplo que faz o que você deseja. A partir de uma entrada de vídeo da Webcam (poderia ser de um vídeo gravado também), a cada quadro eu detecto a face, obtenho a região dela (o ROI) e copio por cima uma imagem de um "avatar" (o friendly neighborhood spidey!). O avatar é escalonado de acordo com as dimensões da região de interesse, e assim funciona razoavelmente bem conforme a face se aproxima ou se afasta da câmera.

Note que o detector do OpenCV é capaz de encontrar mais de uma face em uma imagem, e por isso cada uma delas é processada individualmente, tendo a sua própria cópia do avatar.

Eis o código:

#include "opencv2/opencv.hpp"
#include <vector>

using namespace std;
using namespace cv;

// Função para detectar as faces e trocá-las por um avatar dado
void replaceFacesWithAvatar(Mat &oFrame, Mat &oAvatar, Mat &oAvatarMask, CascadeClassifier &oCascade)
{
    // Converte a imagem original para tons de cinza e então a equaliza
    // para melhorar o resultado da detecção
    Mat oFrameGray;
    cvtColor(oFrame, oFrameGray, CV_BGR2GRAY);
    equalizeHist(oFrameGray, oFrameGray);

    // Detecta as várias faces na imagem em tons de cinza usando o cascade
    vector<Rect> vFaces;
    oCascade.detectMultiScale(oFrameGray, vFaces);

    // Processa cada face encontrada, desenhando um avatar redimensionado no lugar da face
    Mat oScaled, oMask;
    for (unsigned int i = 0; i < vFaces.size(); i++)
    {
        resize(oAvatar, oScaled, Size(vFaces[i].width, vFaces[i].height));
        resize(oAvatarMask, oMask, Size(vFaces[i].width, vFaces[i].height));
        oScaled.copyTo(oFrame(vFaces[i]), oMask);
    }
}

// Função principal
int main(int, char**)
{
    // Carrega a imagem do avatar (friendly neighborhood spidey!)
    Mat oSpidey = imread("C:\\Temp\\SOpt\\spidey.jpg");
    if (!oSpidey.data)
        return -1;

    // Carrega a máscara para transparência do avatar (áreas em preto,
    // isto é, valor 0, são consideradas transparentes).
    Mat oSpideyMask = imread("C:\\Temp\\SOpt\\spidey_mask.jpg");
    if (!oSpideyMask.data)
        return -2;

    // Carrega o melhor detector cascade de ***face frontal*** do OpenCV (há outros)
    CascadeClassifier oFrontalCascade;
    if (!oFrontalCascade.load("C:\\OpenCV-3.1.0\\opencv\\build\\etc\\haarcascades\\haarcascade_frontalface_alt2.xml"))
        return -3;

    // Inicia a captura de imagens a partir da webcam padrão (0 é a primeira instalada)
    // Pode ser feita a captura de um vídeo também (consulte a documentação do VideoCapture)
    VideoCapture oCap(0);
    if (!oCap.isOpened())
        return -4;

    // Processamento de cada quadro do video de entrada
    Mat oFrame;
    namedWindow("Teste com o Cascade", 1);

    while(1)
    {
        // Captura um quadro do vídeo
        oCap >> oFrame;

        // Processa a imagem, redimensionando e copiando o avatar sobre cada face
        replaceFacesWithAvatar(oFrame, oSpidey, oSpideyMask, oFrontalCascade);

        // Exibe a imagem na janela
        imshow("Teste com o Cascade", oFrame);

        // Aguarda pelo pressionamento de uma tecla qualquer por 30 ms
        // (termina se uma tecla for pressionada)
        if (waitKey(30) >= 0)
            break;
    }
    
    return 0;
}

E uma captura da tela de execução (um vídeo da execução pode ser assistido no Youtube):

inserir a descrição da imagem aqui

Como se pode perceber desse exemplo, ele é bacana mas não é robusto. A detecção falha se a face não estiver de frente ou se estiver rotacionada simplesmente porque o detector foi treinado apenas com imagens de exemplo que eram frontais e verticais. Daria para treinar um outro detector com mais exemplos de faces em várias posições, mas ele talvez ficasse genérico demais e cometesse mais erros de falso positivo (dizer que algo é uma face quando na verdade não é). Você poderia usar simultaneamente dois detectores (um frontal e outro em perfil, por exemplo), mas isso vai certamente prejudicar enormemente o desempenho do programa.

Exemplo 2: Detecção e substituição com o CSIRO Face Analysis SDK

Uma alternativa é a detecção e o rastreamento de pontos significativos da face (landmarks) por um algoritmo de deformação de um modelo bidimensional ou tridimensional. Aqui sim se encontra o estado da arte em detecção e rastreamento de faces, em que a ideia geral é continuamente ajustar um modelo (de textura e geometria) a partir da minimização dos erros entre os quadros de um vídeo. Um algoritmo bastante popular nesse sentido é o Active Appearance Model (AAM), e há essa fantástica biblioteca chamada CSIRO Face Analysis SDK (de uso livre para fins não comerciais) que utiliza um modelo deformável tridimensional da face para o rastreamento.

O código-fonte original dessa biblioteca se encontra no Github, mas há também esse fork de minha autoria em que eu comecei a trabalhar na portabilidade para Windows (especialmente) e Linux e corrigi alguns problemas que eu encontrei ao compilar em Debug.

O essencial, que é o rastreador e o transferidor de expressões, já funciona corretamente na minha portabilidade para Windows. Você precisa apenas instalar (e ter no Path) o Cygwin para poder compilar. O restante dos projetos (e principalmente os scripts Bash de apoio) eu admitidamente ainda não testei até esse momento. Também, as bibliotecas geradas foram transformadas em estáticas no Windows (só porque era mais fácil e rápido - a exportação para DLL não funcionava em funções que usavam estruturas de dados do OpenCV).

Eis então o código de exemplo, utilizando essa biblioteca:

#include "tracker/FaceTracker.hpp"
#include "avatar/Avatar.hpp"
#include "opencv2/opencv.hpp"
#include <vector>

using namespace std;
using namespace cv;
using namespace FACETRACKER;
using namespace AVATAR;

// Função auxiliar para juntar dois quadros em um só (com um espaço de 10 pixels entre eles)
cv::Mat sideBySide(Mat &oFrameOne, Mat &oFrameTwo)
{
    Mat oRet(oFrameOne.rows, oFrameOne.cols + oFrameTwo.cols + 10, CV_8UC3, Scalar(0, 0, 0));

    Rect oRoi(0, 0, oFrameOne.cols, oFrameOne.rows);
    oFrameOne.copyTo(oRet(oRoi));
    
    oRoi = Rect(oFrameOne.cols + 10, 0, oFrameTwo.cols, oFrameTwo.rows);
    oFrameTwo.copyTo(oRet(oRoi));

    return oRet;
}

// Função principal
int main(int, char**)
{
    // Carrega o rastreador de faces do FASDK
    FaceTracker *pTracker = LoadFaceTracker();
    if (!pTracker)
        return -1;

    // Carrega os parâmetros do rastreador de faces do FASDK
    FaceTrackerParams *pTrackerParams = LoadFaceTrackerParams();
    if (!pTrackerParams)
    {
        delete pTracker;
        return -2;
    }

    // Carrega o modelo do avatar
    Avatar *pAvatar = LoadAvatar("C:\\Temp\\SOpt\\house.avatar.binary");
    if (!pAvatar)
    {
        delete pTrackerParams;
        delete pTracker;
        return -3;
    }

    // Define o índice do avatar (um mesmo arquivo pode ter mais de um avatar)
    pAvatar->setAvatar(0);

    // Inicia a captura de imagens a partir da webcam padrão (0 é a primeira instalada)
    // Pode ser feita a captura de um vídeo também (consulte a documentação do VideoCapture)
    VideoCapture oCap(0);
    if (!oCap.isOpened())
        return -4;

    // Processamento de cada quadro do video de entrada
    Mat oFrame, oFrameLandmarks;
    int iQuality;
    bool bCalibrated = false;

    namedWindow("Teste com o Face Analysis SDK", 1);

    bool bQuit = false;
    while(!bQuit)
    {
        // Captura um quadro do vídeo
        oCap >> oFrame;

        // Rastreia as marcas faciais utilizando o rastreador do FASDK
        iQuality = pTracker->Track(oFrame, pTrackerParams);

        if (iQuality != FaceTracker::TRACKER_FAILED && iQuality != FaceTracker::TRACKER_FACE_OUT_OF_FRAME)
        {
            // Produz a imagem com as marcas faciais na imagem de cópia
            oFrame.copyTo(oFrameLandmarks);
            FACETRACKER::PointVector vLandmarks = pTracker->getShape();
            for (unsigned int i = 0; i < vLandmarks.size(); i++)
                circle(oFrameLandmarks, vLandmarks[i], 2, CV_RGB(255, 255, 0), -1);

            // Projeta o avatar sobre a face na imagem original, se já calibrado (iniciado)
            if(bCalibrated)
                pAvatar->Animate(oFrame, oFrame, pTracker->getShape());
        }

        // Exibe ambas as imagens na janela, lado a lado
        oFrame = sideBySide(oFrameLandmarks, oFrame);
        putText(oFrame, "i: inicia transferencia do avatar / f: finaliza a transferencia do avatar / r: reinicia o rastreador / qualquer outra tecla: termina o programa", Point(10, oFrame.rows - 10), CV_FONT_HERSHEY_PLAIN, 1, CV_RGB(255, 255, 250));
        imshow("Teste com o Face Analysis SDK", oFrame);

        // Aguarda pelo pressionamento de uma tecla qualquer por 30 ms
        // (termina se uma tecla for pressionada)
        int iKey = waitKey(30);
        if (iKey > 0)
        {
            switch (iKey)
            {
                // Início da transferência de expressão (com a inicialização do Avatar com uma expressão neutra)
                case 'i':
                case 'I':
                    if (!bCalibrated)
                    {
                        pAvatar->Initialise(oFrame, pTracker->getShape());
                        bCalibrated = true;
                    }
                    break;

                // Fim da transferência de expressão
                case 'f':
                case 'F':
                    bCalibrated = false;
                    break;

                // Reset do rastreador
                case 'r':
                case 'R':
                    pTracker->Reset();
                    break;

                // Qualquer outra tecla
                default:
                    bQuit = true;
                    break;
            }
        }
    }

    delete pAvatar;
    delete pTrackerParams;
    delete pTracker;
    
    return 0;
}

E uma captura da tela de execução (um vídeo da execução pode ser assistido no Youtube):

inserir a descrição da imagem aqui

O avatar utilizado nesse caso foi o Dr. House (hehehe) que o colega @AndersonBS usou também na resposta dele. A seguir eu explico como esse avatar foi construído.

Luiz Vieira
  • 34,5mil
  • 6
  • 89
  • 160