6

Estou usando o OpenCV e tentando gerar um arquivo .vec para fazer o treinamento de reconhecimento de imagem, mas sempre que eu gero o arquivo e tento lê-lo, vejo imagens como se algumas partes do meu positivo estivessem transparentes! (Peço desculpas por não disponibilizar as imagens na própria pergunta, mas não tenho reputação o suficiente para isso, então coloquei o link ao final para o drive que contém todas as imagens citadas)

Eis o comando que estou tentando executar:

opencv_createsamples -vec 483.vec -img 483.png -bg 483.txt -num 5 -w 128 -h 128 -maxxangle 0 -maxyangle 0 -maxzangle 0

Essa é a 483.png:

483.png

Esse é um exemplo de background que usei:

001.png

Esse é um resultado de amostra que está no .vec:

treino.png

Então, tentei adicionar um fundo verde ao 483.png e adicionar o seguinte parâmetro no comando:

 -bgcolor 00ff00

E o resultado ficou:

treino_verde.png

O que estou fazendo de errado? Por que a 483.png não fica sólida em cima do outro ícone? Ou entendi o conceito errado? Porque na documentação do OpenCV, ele mistura os nomes "negative" e "background" e, pra mim, eles são iguais na parte do comando -bg, mas diferentes no comando -bgcolor. A ideia não é colocar outro ícone como background, mas o contexto de imagem em que ele vai estar? Ainda assim, tenho a impressão de que a 483 não deveria ficar "transparente".

Link do Drive: clique aqui

1
  • Boa pergunta, que gerou uma boa resposta de um bom usuário.
    – durtto
    Commented 8/07/2016 às 11:25

1 Resposta 1

7

A documentação não mistura os nomes "negative" e "background". Creio que você entendeu errado mesmo.

Uma "imagem negativa", no contexto de treinamento de um reconhecedor do OpenCV, significa uma imagem que não contenha o objeto de interesse (o que vai ser reconhecido). De forma similar, uma imagem "positiva" nesse mesmo contexto significa uma imagem que contenha o objeto de interesse.

Lembre-se que esse utilitário serve para criar novos exemplos a partir de um existente. Assim, o conceito de imagem negativa não tem nada a ver com o conceito de cor de fundo. A "cor de fundo" serve apenas para indicar para o utilitário quais são os pixels que devem ser considerados como transparentes, na hora de criar novos exemplos. A documentação diz o seguinte:

-bgcolor

Background color (currently grayscale images are assumed); the background color denotes the transparent color. Since there might be compression artifacts, the amount of color tolerance can be specified by -bgthresh. All pixels withing bgcolor-bgthresh and bgcolor+bgthresh range are interpreted as transparent.

Observe os pontos que eu marquei em negrito. Primeiramente, a imagem original é considerada/tratada como em escala de cinza (só 1 banda de cor, isto é, só um valor de intensidade luminosa por pixel). Mas como vc pode passar imagens coloridas (com 3 bandas, isto é, 3 valores por pixel) a conversão utiliza um valor de tolerância definido por outro parâmetro. Finalmente (e mais importante), TODOS os pixels cuja cor recaem nesse intervalo são considerados como transparentes na hora de criar o novo exemplo.

Ou seja, apesar de você enxergar verde só no fundo da imagem original, certamente há nela outros pixels que também têm o valor FF para a banda verde (embora não apareçam como verde pra vc porque tem valores diferentes de 00 nas outras duas bandas do vermelho e azul).

A questão então é que você não precisa produzir um exemplo com o fundo verde para usar o utilitário e substituir por transparente alguns pixels verdes. Novamente, segundo a documentação, a ideia desse e dos demais parâmetros é apenas aumentar a aleatoriedade dos exemplos (positivos ou negativos) para o treinador:

Please note that you need a large dataset of positive samples before you give it to the mentioned utility, because it only applies perspective transformation. For example you may need only one positive sample for absolutely rigid object like an OpenCV logo, but you definitely need hundreds and even thousands of positive samples for faces. In the case of faces you should consider all the race and age groups, emotions and perhaps beard styles.

So, a single object image may contain a company logo. Then a large set of positive samples is created from the given object image by random rotating, changing the logo intensity as well as placing the logo on arbitrary background. The amount and range of randomness can be controlled by command line arguments of opencv_createsamples utility.

Ou seja, a ideia do uso desse parâmetro é apenas gerar mais exemplos "aleatórios" (com variações de fundo, no seu caso) para aumentar a eficiência do detector no "mundo real" (onde variações de luminosidade, por exemplo, são bem comuns). Se vc prestar atenção nos demais parâmetros desse utilitário vai ver que existe também opção para rotacionar as imagens, por exemplo. Afinal, a rotação também é uma variação bem comum no mundo real. Imagine a detecção de uma cabeça humana. Como a cabeça pode estar "deitada sobre o ombro", ou você arruma imagens de exemplo positivas que já contenham a cabeça nessa rotação, ou usa o utilitário para gerar exemplos rotacionando as imagens que já tem. Se o seu classificador treinado não tiver imagens com essa rotação, ele não será capaz de detectar cabeças rotacionadas no "mundo real".

Concluindo, a resposta para a sua pergunta "Por que meu treinamento de reconhecimento de imagem no OpenCV gera amostras transparentes?" é: porque você solicitou. :)

EDIT:

Se não fez ainda, faça esse tutorial. É bem útil e intuitivo. Lá o autor descreve o seguinte:

opencv_createsamples generates a large number of positive samples from our positive images, by applying transformations and distortions. Since one can only transform so much out of one image until it's not a different version anymore, we need a little help to get a larger number of samples out of our relatively small number of input images.

Em tradução livre:

opencv_createsamples gera um grande número de exemplos positivos a partir das nossas imagens positivas, ao aplicar transformações e distorções. Uma vez que alguém só pode transformar um pouco (manualmente) uma imagem até que ela não mais seja diferente, nós precisamos de um pouco de ajuda para produzir um grande número de exemplos a partir do nosso relativamente pequeno número de imagens de entrada.

Ou seja, deve ser fácil perceber que faz mais sentido usar esse tipo de ferramenta para produzir variações úteis de imagens positivas (as que contêm o objeto de interesse). Afinal, para ter imagens negativas (que não contêm o objeto de interesse) é só pegar qualquer coisa (imagens de gatos, bolas de futebol, trens, mulheres, automóveis, mulheres, iates, mulheres, mansões, mulheres, etc).

7
  • 1
    (imagens de gatos, bolas de futebol, trens, mulheres, automóveis, mulheres, iates, mulheres, mansões, mulheres, etc) kkkkkk
    – durtto
    Commented 8/07/2016 às 11:28
  • Não entendi o que eu posso fazer pra resolver isso então. O tutorial que você me passou usa comandos de linux, coisa que eu não consegui fazer no windows nem usando cygwin :( Enfim, como eu devo proceder para que eu tenha amostras razoáveis? Que tipo de imagem o arquivo do "-bg 483.txt" deve conter? Eu tentei colocando apenas uma imagem do fundo do tabuleiro do jogo (um quadrado marrom com poucos detalhes), especifiquei a cor dele (com -bgcolor 786956) e as amostras geradas foram bem sólidas, mas o teste com o treinamento foi bem falho. Devo colocar imagens aleatórias do jogo no -bg?
    – sevs
    Commented 9/07/2016 às 5:16
  • Pois quando faço isso, ele cai naquele mesmo problema inicial: o 483 fica transparente com partes das outras imagens "por dentro". E outra: se negative e background são coisas distintas, onde entram os negatives? Porque em momento nenhum há parâmetros que especificam negatives, apenas especificam backgrounds.
    – sevs
    Commented 9/07/2016 às 5:20
  • A resposta para "onde entram os negatives" é: não entram (nessa ferramenta que vc tá usando). O tutorial é em Linux, verdade, mas tá lá mais pra você lê-lo com atenção e entender o processo. A ferramenta opencv_createsamples existe pra te ajudar a criar exemplos de treinamento. Se vc já tiver exemplos suficientes, você nem precisa utilizá-la. Os exemplos negativos entram no treinamento do classificador (junto com qualquer outro exemplo que você produza com o opencv_createsamples). Você leu a documentação com cuidado? Commented 9/07/2016 às 11:17
  • Sobre "como eu devo proceder para que eu tenha amostras razoáveis?", eu diria pra tentar usar as imagens que você já tem sem produzir nada aleatoriamente (com opencv_createsamples). Se o seu detector resultante não for suficientemente bom, dai você tenta usar as imagens positivas (só as positivas!) pra gerar mais exemplos aleatórios com essa ferramenta. Dai usa a cor qu quiser pro fundo. A ideia é mesmo só dar aleatoriedade. Não importa. Commented 9/07/2016 às 11:21

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .