1

Olá! Recentemente comecei a me aventurar com a biblioteca OpenCV em C++. Hoje, quero elaborar um programa que aplique um classificador numa ROI poligonal (5 pontos), obtida através de 5 cliques com o mouse na imagem da cam. O classificador só pode ficar dentro dessa ROI, não fora.

Graças a vários tópicos daqui, consegui juntar alguns exemplos e montar o código abaixo que faz o que preciso mas numa área retangular. A função “Onmouse” desenha o retângulo. Porém, não consigo passar disso ao tentar usar outros tópicos que mencionam ROI com polígono. Alguém poderia ajudar com sugestão de código =).

Meu desejo é obter uma ROI polígonal com mouse ao invés de retângulo.

Muito obrigado pela ajuda! =)

Segue o código.

#include "opencv2/highgui/highgui.hpp"
#include <opencv2/opencv.hpp>
#include <iostream>
#include <opencv2/core/core.hpp>
#include <opencv2/highgui/highgui.hpp>
#include <iostream>
#include <opencv2/opencv.hpp>
#include <opencv2/features2d/features2d.hpp>
#include "opencv2/core/core.hpp"
#include "opencv2/flann/miniflann.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/photo/photo.hpp"
#include "opencv2/video/video.hpp"
#include "opencv2/features2d/features2d.hpp"
#include "opencv2/objdetect/objdetect.hpp"
#include "opencv2/calib3d/calib3d.hpp"
#include "opencv2/ml/ml.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/core/core_c.h"
#include "opencv2/highgui/highgui_c.h"
#include "opencv2/imgproc/imgproc_c.h"

using namespace std;
using namespace cv;


Mat src,img,ROI;
Rect cropRect(0,0,0,0);
 Point P1(0,0);
 Point P2(0,0);

const char* winName="Imagem de Origem";
bool clicked=false;
int i=0;
char imgName[15];

const char* WinComClassificador="Imagem COM CLASSIFICADOR";
const char* WinSemClassificador="Imagem SEM CLASSIFICADOR";

void detectAndDisplay( Mat frame);

String face_cascade_name =     "C:/Code/Projects_Tests/Cascade_Classifier_not_displaying/Cascade_Classifier/haarcascade_frontalface_alt.xml";
String eyes_cascade_name = "C:/Code/Projects_Tests/Cascade_Classifier_not_displaying/Cascade_Classifier/haarcascade_eye_tree_eyeglasses.xml";
CascadeClassifier face_cascade;
CascadeClassifier eyes_cascade;


void detectAndDisplay( Mat frame )
{
    std::vector<Rect> faces;
    Mat frame_gray;

    cvtColor( frame, frame_gray, COLOR_BGR2GRAY );
    equalizeHist( frame_gray, frame_gray );

    //-- Detect faces
    face_cascade.detectMultiScale( frame_gray, faces, 1.1, 2,     0|CASCADE_SCALE_IMAGE, Size(30, 30) );

    for ( size_t i = 0; i < faces.size(); i++ )
    {
        Point center( faces[i].x + faces[i].width/2, faces[i].y +     faces[i].height/2 );
        ellipse( frame, center, Size( faces[i].width/2, faces[i].height/2 ),     0, 0, 360, Scalar( 255, 0, 0 ), 4, 8, 0 );

        Mat faceROI = frame_gray( faces[i] );
        std::vector<Rect> eyes;

        //-- In each face, detect eyes
        eyes_cascade.detectMultiScale( faceROI, eyes, 1.1, 2, 0     |CASCADE_SCALE_IMAGE, Size(30, 30) );

        for ( size_t j = 0; j < eyes.size(); j++ )
        {
            Point eye_center( faces[i].x + eyes[j].x + eyes[j].width/2, faces[i].y + eyes[j].y + eyes[j].height/2 );
            int radius = cvRound( (eyes[j].width + eyes[j].height)*0.25 );
            circle( frame, eye_center, radius, Scalar( 0, 255, 255), 4, 8, 0     );
        }
    }



    //-- Show what you got
    //imshow( window_name, frame );
}

void checkBoundary(){
       if(cropRect.width>img.cols-cropRect.x)
         cropRect.width=img.cols-cropRect.x;

       if(cropRect.height>img.rows-cropRect.y)
         cropRect.height=img.rows-cropRect.y;

        if(cropRect.x<0)
         cropRect.x=0;

       if(cropRect.y<0)
         cropRect.height=0;
}

void showImage(){
    img=src.clone();
    checkBoundary();
    if(cropRect.width>0&&cropRect.height>0){
        ROI=src(cropRect);
         imshow("Regiao de Interesse",ROI);
    }
    rectangle(img, cropRect, Scalar(0,255,0), 1, 8, 0 );
    imshow(winName,img);
}


void onMouse( int event, int x, int y, int f, void* ){

    switch(event){

        case  CV_EVENT_LBUTTONDOWN  :
                                        clicked=true;

                                        P1.x=x;
                                        P1.y=y;
                                        P2.x=x;
                                        P2.y=y;
                                        break;

        case  CV_EVENT_LBUTTONUP    :
                                        P2.x=x;
                                        P2.y=y;
                                        clicked=false;
                                        break;

        case  CV_EVENT_MOUSEMOVE    :
                                        if(clicked){
                                        P2.x=x;
                                        P2.y=y;
                                        }
                                        break;

        default                     :   break;

    }


    if(clicked){
     if(P1.x>P2.x){ cropRect.x=P2.x;
                       cropRect.width=P1.x-P2.x; }
        else {         cropRect.x=P1.x;
                       cropRect.width=P2.x-P1.x; }

        if(P1.y>P2.y){ cropRect.y=P2.y;
                       cropRect.height=P1.y-P2.y; }
        else {         cropRect.y=P1.y;
                       cropRect.height=P2.y-P1.y; }

    }

showImage();

}
int main()
{
    string msg("OI FELIPE");
    VideoCapture cap(0);
    cap.open( 0 );
    cap >> src;
    if ( ! cap.isOpened() ) { printf("--(!)Error opening video capture\n");     return -4; }

    cout << "Recording..." << endl;
    namedWindow(winName,WINDOW_NORMAL);

        //-- 1. Load the cascades
    if( !face_cascade.load( face_cascade_name ) ){ printf("--(!)Error     loading face cascade\n"); return -1; };
    if( !eyes_cascade.load( eyes_cascade_name ) ){ printf("--(!)Error     loading eyes cascade\n"); return -1; };


    while (cap.read(src)) {  

   // imshow( "MyVideo", src );

    if (!clicked) {
        imshow(winName,src);
        setMouseCallback(winName,onMouse,NULL );

        if( src.empty() )
                break;

    }
   else {
        imshow(winName,src);
        setMouseCallback(winName,onMouse,NULL );

        if( src.empty() )
                break;
        }

    showImage();

        int c=waitKey(10);   

    }

    waitKey(10);
    return 0;
    }
1
  • Por favor evitem longas discussões nos comentários; a conversa de vocês foi movida para o chat
    – Maniero
    Commented 24/02/2017 às 19:32

1 Resposta 1

4

Depois de muito discutir eu finalmente entendi que o que você queria fazer (e não foi por mérito seu, diga-se de passagem; por isso, fica a dica: no futuro, procure focar no problema ao invés de focar numa solução que você acha que funciona).

O que você quer não é executar o Cascade dentro de uma área limitada (até porque isso não faz sentido algum!). O que você quer é saber se a área de um objeto, conforme detectada pelo Cascade (no caso, a região onde se encontra uma face humana) está ou não dentro de uma outra área marcada pelo usuário.

Como a área do Cascade é uma ROI (que é retangular por princípio, já que é uma sub-área de uma imagem) e a sua área de verificação é um polígono com mais lados, essa comparação não é trivial. Como ambos os polígonos são fechados, você poderia fazer uma verificação simples do tipo "está completamente dentro ou está completamente fora" simplesmente verificando se todos os vértices da ROI estão ou não dentro dos limites do polígono. Poderia também fazer uma verificação de "colisão", tal como os jogos fazem (e tem uma série de técnicas pra isso). Porém, você não precisa saber se uma área "tocou" na outra, e sim se uma contém a outra. Logo, usar técnicas de colisão potencialmente produziria muitos falso positivos.

Como você usa OpenCV, uma forma muito simples e eficaz é você fazer assim:

  1. Desenhe cada área em uma imagem binária distinta (isto é, em uma imagem que tenha só preto e branco), preenchendo a área da região completamente em branco.
  2. Faça um "E" lógico das duas imagens, pixel a pixel. Pixels todo em preto valem 0, e pixels todo em branco valem 1. Como 0 E 0 ou 0 E 1 resultam em 0, apenas os pixels que são 1 (branco) em ambas as imagens serão mantidos na imagem resultante.
  3. Conte os pixels em branco (não-zero) na imagem resultante, e divida esse valor pelo número de pixels da área originalmente detectada. Isso é um percentual, que portanto varia entre 0 e 1. Uma ROI detectada que está totalmente dentro do seu polígono vai resultar em 1 (isto é, 100% dentro!) e uma ROI que está totalmente fora do seu polígono vai resultar em 0 (isto é, 100% fora).
  4. Com a posse desse valor, crie algum critério de decisão para considerar como "invasão" ou não (por exemplo, considere como invadido apenas quando o valor dado for maior do que 0.7, ou seja, 70%).

O código

#include <opencv2\core.hpp>
#include <opencv2\highgui.hpp>
#include <opencv2\imgproc.hpp>

#include <vector>
#include <iostream>

using namespace std;
using namespace cv;

Size sz = Size(800, 600);
Mat image = Mat::zeros(sz, CV_8UC3);
Rect roi;
vector<Point> polygon;
bool buttonDown = false;

typedef enum
{
    CAPTURING_POLYGON,
    CAPTURING_ROI
} Capturing;
Capturing cap;

void roiCapture(int event, int x, int y, int flags, void *userdata)
{
    if(event == EVENT_LBUTTONDOWN)
    {
        roi = Rect(x, y, 0, 0);
        buttonDown = true;
    }
    else if(event == EVENT_LBUTTONUP)
    {
        buttonDown = false;
        roi = Rect(Point(roi.x, roi.y), Point(x, y));
    }
    else if(buttonDown)
        roi = Rect(Point(roi.x, roi.y), Point(x, y));       
}

void polygonCapture(int event, int x, int y, int flags, void *userdata)
{
    if(event == EVENT_LBUTTONUP)
        polygon.push_back(Point(x, y));
    else if(event == EVENT_RBUTTONDOWN)
        polygon.clear();
}

float calcOverlapping(const Rect &roi, const vector<Point> &polygon, const Size &sz, Mat &resp)
{
    // Desenha o polígono preenchido com branco em uma imagem binária toda em preto
    Mat imgPol = Mat::zeros(sz, CV_8UC1);
    vector<vector<Point>> points;
    points.push_back(polygon);
    int npts = polygon.size();
    fillPoly(imgPol, points, Scalar(255));

    // Desenha o retângulo preenchido com branco em uma imagem binária toda em preto
    Mat imgRoi = Mat::zeros(sz, CV_8UC1);
    rectangle(imgRoi, roi, Scalar(255, 255, 255), CV_FILLED);

    // Faz um "E" lógico das imagens. Isso causa uma interseção das áreas, pois apenas os pixels
    // que forem branco NAS DUAS imagens irão permanecer em branco na imagem de resposta.
    bitwise_and(imgPol, imgRoi, resp);

    // Conta os pixels que são diferentes de preto (0) na imagem resultante
    int intersec = countNonZero(resp);

    // Conta os pixels que são diferentes de preto (0) na imagem da ROI (porque a área dela é
    // usada como base (isto é, que se saber qual é a porcentagem da ROI que está dentro do 
    // polígono)
    int base = countNonZero(imgRoi);

    // A resposta é um percentual (entre 0 e 1), indicando quanto da ROI está na interseção.
    // Se a ROI estiver inteira dentro do polígono, a interseção vai ser total e esse valor vai
    // dar 1. Se estiver totalmente fora, a interseção vai ser nula e esse valor vai dar 0.
    return float(intersec) / float(base);
}

int main()
{
    // ===========================================
    // Captura das áreas para teste.
    // Essa parte você já faz (ou sabe fazer).
    // ===========================================
    namedWindow("Captura", WINDOW_AUTOSIZE);

    int fontFace = FONT_HERSHEY_SIMPLEX;
    double fontScale = 0.5;
    int thickness = 1;

    // Começa capturando a área do polígono
    cap = CAPTURING_POLYGON;
    setMouseCallback("Captura", polygonCapture, NULL);
    bool ok = true;
    while(ok)
    {
        // Pinta tudo de preto
        image = Scalar(0, 0, 0);

        // Desenha o texto de ajuda
        string text;
        if(cap == CAPTURING_ROI)
            text = "Desenhe o ROI com o mouse. Pressione [C] para continuar.";
        else
            text = "Adicione pontos ao POLIGONO com o mouse (botao direito limpa). Pressione [C] para continuar.";
        putText(image, text, Point(0, 15), fontFace, fontScale, Scalar(255, 255, 255), thickness);

        // Desenha o polígono, se ele tiver dados
        if(polygon.size() == 1)
            circle(image, polygon[0], 1, Scalar(255, 0, 255));
        else if(polygon.size() > 1)
        {
            vector<vector<Point>> points;
            points.push_back(polygon);
            int npts = polygon.size();
            fillPoly(image, points, Scalar(255, 0, 255));
        }

        // Desenha a ROI, se ela tiver dados
        if(roi.width != 0 || roi.height != 0)
            rectangle(image, roi, Scalar(0, 255, 255));

        imshow("Captura", image);
        int k = waitKey(10);
        switch(k)
        {
            case 27: // ESC
            case 'q':
            case 'Q':
                destroyAllWindows();
                return 0;

            case 'c':
            case 'C':
                if(cap == CAPTURING_POLYGON)
                {
                    cap = CAPTURING_ROI;
                    // Troca pra captura da ROI
                    setMouseCallback("Captura", roiCapture, NULL);
                }
                else
                    ok = false;
                break;
        }
    }

    // ===========================================
    // Cálculo do percentual de interseção.
    // Essa parte é a novidade.
    // ===========================================

    Mat resp;
    float val = calcOverlapping(roi, polygon, sz, resp);

    cout << "Valor de intereseção calculado: " << val << endl;

    imshow("Debug", resp);
    waitKey(0);

    return 0;
}

A função realmente importante é a calcOverlapping, que faz a "mágica". :)

Exemplos de Resultado

Nos exemplos a seguir, a imagem da esquerda indica a ROI (em amarelo) e o polígono (em magenta), e a imagem da direita indica apenas a área de interseção na imagem binária resultante do E lógico entre as duas imagens binárias construídas a partir das figuras na imagem da esquerda.

inserir a descrição da imagem aqui

Valor de interseção calculado: 0.748836

inserir a descrição da imagem aqui

Valor de interseção calculado: 0.012016

Edição: Exemplo de Uso Real

Você criou outra pergunta pra perguntar essencialmente a mesma coisa, mas dessa vez forneceu um exemplo concreto, da imagem abaixo:

inserir a descrição da imagem aqui

Pois bem, se você deseja que o detector de pessoas (Cascade) encontre somente as pessoas dentro da região delimitada pelo polígono em vermelho, basta usar o que eu expliquei acima e fazer a operação lógica para ter somente os pixels da região do polígono em uma ROI que continua retangular (a imagem "final" no exemplo abaixo). Então aplique o Cascade nessa nova imagem. Exemplo (em Python dessa vez, porque eu fiz com pressa - mas é a mesma coisa em C++):

import numpy as np
import cv2

image = cv2.imread('teste.png', cv2.IMREAD_COLOR)

# Define a Região de Interesse (ROI)
left = 15
top = 118
width = 615
height = 365
roi = image[top:height, left:width]

# Define o polígono delimitador
points = np.array([[(0, 184), (165, 40), (402, 0), (598, 20), (482, 56), (342, 245)]])
mask = np.zeros(roi.shape, roi.dtype)
cv2.fillPoly(mask, points, (255, 255, 255)) # Preenche com branco (note que a cor é RGB - i.e. 3 bandas, já que a imagem não é binária!)

final = cv2.bitwise_and(roi, mask)

cv2.imshow('Imagem Original', image)
cv2.imshow('ROI', roi)
cv2.imshow('Mascara', mask)
cv2.imshow('Final', final)

cv2.waitKey(0)

Resultado:

inserir a descrição da imagem aqui

1
  • Por favor evitem longas discussões nos comentários; a conversa de vocês foi movida para o chat
    – Maniero
    Commented 6/03/2017 às 12:29

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .