Tenho centenas de imagens digitais de cães e gatos, preciso fazer um algoritmo para reconhecer quando é o cão e quando é o gato. Quais os passos que devo tomar?
-
4Olá, bem vindo(a) ao SOPT. A sua pergunta tem vários problemas. Primeiramente, ela é muito ampla. Este site não é um fórum. Se não fez ainda, faça o tour e leia Como perguntar. Em segundo lugar, você não deixa claro qual é a sua dificuldade principal nesse processo todo. Finalmente, você usou tags de três linguagens diferentes (Python, R e Matlab), mas você deveria escolher uma para obter ajuda mais concreta.– Luiz VieiraCommented 8/07/2016 às 19:51
1 Resposta
Primeiramente, é legal dizer que esse é um problema famoso de machine-learning. Ele está disponível como desafio do Kaggle, de onde também é possível baixar o banco de dados. Inclusive, é de lá que eu baixei os dados para escrever a resposta.
Vou mostrar uma metodologia bem simples para treinar um classificador para esse problema. A resposta é bem um hello world desse mundo, mas pode ajudar. Este artigo descreve uma metodologia bem mais avançada para a previsão (o acerto fica em 82% das imagens)
Note também que essa é uma solução em R
para este problema.
Ler as imagens para o software
No R você pode ler as imagens usando o pacote imager
.
library(imager)
library(dplyr)
library(tidyr)
library(stringr)
img <- imager::load.image("train/cat.0.jpg")
Logo no início, vou deixar a imagem com dimensão menor e padronizada. 100 x 100. Isso é pra ficar mais leve, não é um passo obrigatório, apesar de ser recomendado. Também vou considerar as imagens em tons de cinza e não colorida para reduzí-las ainda mais.
img <- imager::grayscale(img)
img <- imager::resize(img, 100, 100)
Agora, possuimos uma matriz 100 x 100 com cada elemento representando o tom de cinza.
Eu prefiro representar a imagem como um data.frame no R, por ser mais fácil de manipular. Então uso o seguinte código.
img_df <- as.matrix(img) %>%
data.frame() %>%
mutate(x = 1:nrow(.)) %>%
gather(y, t, -x) %>%
mutate(y = extract_numeric(y))
Aqui a imagem é representada em 3 colunas de um data.frame. As duas primeiras x
e
y
identificam a posição do pixel. A última representa o tom de cinza do pixel.
Para a entrada em um modelo estatístico/algoritmo de machine-learning é necessário obter uma base de dados em que cada linha é uma observação/um indivíduo/uma unidade amostral, e cada coluna é uma característica observada naquele indivíduo.
Então, para classificar imagens de gatos e cachorros precisamos de uma base de dados em que cada imagem está representada em uma linha e cada pixel da imagem seja uma coluna (os pixels são as informações observadas da imagem). Além disso precisaremos de uma coluna indicando se a imagem é de um gato ou de um cachorro para treinar o algoritmo/ estimar os seus parâmetros.
Para transformar a imagem em uma linha uso o seguinte comando:
img_line <- img_df %>%
mutate(colname = sprintf("x%03dy%03d", x, y)) %>%
select(-x, -y) %>%
spread(colname, t)
Se você quisesse considerar a cor da imagem no seu modelo, nesta etapa precisaria criar uma coluna para cada pixel e cada cor, ou seja 3x100x100 = 30.000, você terminaria com cada imagem representada por uma linha de 30.000 colunas.
Processando uma série de imagens.
Expliquei como você faria para processar uma imagem, mas para treinar o algoritmo são necessárias diversas imagens. Vou encapsular o código anterior em uma função e utilizá-lo para processar uma série de imagens.
processar <- function(path){
img <- imager::load.image("train/cat.0.jpg")
img <- imager::grayscale(img)
img <- imager::resize(img, 100, 100)
img_df <- as.matrix(img) %>%
data.frame() %>%
mutate(x = 1:nrow(.)) %>%
gather(y, t, -x) %>%
mutate(y = extract_numeric(y))
img_line <- img_df %>%
mutate(colname = sprintf("x%03dy%03d", x, y)) %>%
select(-x, -y) %>%
spread(colname, t)
return(img_line)
}
Para fins de demonstração, vou pegar uma amostra de 100 imagens de cachorro e de 100 imagens de gato para o treinamento do modelo. Na prática, são necessárias muito mais imagens.
arqs <- list.files("train", full.names = T)
amostra_gato <- arqs[str_detect(arqs, "cat")] %>% sample(100)
amostra_cachorro <- arqs[str_detect(arqs, "dog")] %>% sample(100)
amostra <- c(amostra_gato, amostra_cachorro)
bd <- plyr::ldply(amostra, processar)
Y <- as.factor(rep(c("gato", "cachorro"), each = 100) ) # vetor de respostas
Esse passo demora bastante e é computacionalmenter intenso. Você faz muitos processamentos e imagens são arquivos pesados.
Modelagem
Aqui qualquer algoritmo de machine-learning poderia ser utilizado. Você já transformou as suas imagens em um banco de dados convencional. Já aviso, isso geralmente demora bastante. No meu computador para treinar com 200 imagens de 10.000 colunas demorou aprox 30 min.
Vou usar random forest para fazer a classificação, mas você poderia realmente qualquer modelo.
m <- randomForest::randomForest(bd, Y, ntree = 100)
Não vou entrar em detalhes de como a modelagem deveria ser realizada. O certo é você separar uma base de treino e uma de teste. Verificar que não teve overfitting, fazer tuning dos parâmetros usando cross-validation, etc. Mas isso tornaria a resposta muito extensa, por isso treinei um random forest usando todos os padrões da função do R (alterando apenas o número de árvores).
Verifiquei o erro apenas na base de construção também (o que é errado estatisticamente, mas bola pra frente).
tabela <- table(predict(m, type = "class"), Y)
acerto <- sum(diag(tabela))/sum(tabela)
acerto
Previsão para a imagem inicial
Com o modelo treinado e uma nova imagem processada, use o seguinte comando para prever a categoria:
predict(m, newdata = img_line)
-
3
-
Ganhou o meu +1 pois a resposta é mesmo muito boa (apesar de eu achar a pergunta muito ampla e ter votado para fechá-la). Aliás, quando você menciona que "esse passo demora bastante e é computacionalmente intenso", tem toda a razão. Afinal, 10 mil colunas é simplesmente um absurdo! rs Apesar de servir como uma boa base para entendimento, quase nunca se usa diretamente os valores dos pixels como características. Há outras características que podem ser extraídas das imagens com algoritmos de processamento intermediário que são mais úteis em reduzir consideravelmente as dimensões do problema. :) Commented 8/07/2016 às 20:14
-
Concordo @LuizVieira! Não sou grande entendedor desse assunto, mas acredito que isso seja feito em alguns algoritmos (mesmo sendo absurdo). Veja esse tutorial do tensor flow tensorflow.org/versions/r0.9/tutorials/deep_cnn/… Claro que são imagens menores (32x32), mas são muito mais imagens também. Commented 8/07/2016 às 20:37
-
@DanielFalbel O reconhecimento de caracteres escritos a mão, por exemplo, também costuma usar imagens de exemplo bem pequenas no treinamento. Dai a dimensão do problema é bem mais reduzida, mas ainda assim 32x32 é bem grande. Mas há outros problemas em usar dados crus (raw data) como os valores dos pixels. A variância pode ser muito grande, além de que muitas das "colunas" podem ser simplesmente inúteis ou ajudar a ter sobreajuste. Por isso é importante selecionar as melhores features. Commented 8/07/2016 às 20:45
-
1@LuizVieira nesta parte ele está falando sobre modelos lineares, mas na parte das Deep CNN's ele realmente usa a raw images no algoritmo. Claro que quando você vai ver, esse algoritmo demorou 4 semanas para treinar em umcluster de não sei quantas GPU's. Mas acho que aí que está o state of the art dos algoritmos de reconhecimento de imagens. Para nós, mortais que não temos clusters gigantes de computadores, resta selecionar as melhores características. Commented 8/07/2016 às 21:18