7

to fazendo meu TCC em engenharia elétrica, onde tenho que automatizar um quadricoptero pra tirar fotos de plantações, até ai tudo bem. O problema é que meu professor pediu pra eu fazer um código em python onde, com uma imagem de uma plantação, eu aplique um treshold, deixando o solo branco e as plantas pretas (até essa parte consegui fazer sem problemas) depois adicionar pontos de tamanho ajustável apenas na área de cor preta(plantas) e então traçar uma linha em cima dessas plantas. Não achei nada sobre como adicionar pontos em cima, apenas da área preta, e a parte das linhas depende disso.

Código do Treshold

import cv2
import numpy as np
img = cv2.imread('C:\Users\Desktop\TCC\img1.jpg')
grayscaled = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)
retval, threshold = cv2.threshold(grayscaled, 130, 255, cv2.THRESH_BINARY)
cv2.imwrite('C:\Users\Desktop\TCC\img5.jpg', threshold)
cv2.imshow('threshold', threshold)
cv2.waitKey(0)
cv2.destroyAllWindows()
cv2.imwrite('C:\Users\Desktop\TCC\img5.jpg', threshold)

Para traçar as linhas to tentando adaptar o código deste tutorial que achei: https://docs.opencv.org/3.0-beta/doc/py_tutorials/py_imgproc/py_houghlines/py_houghlines.html

Imagem inicial:

inserir a descrição da imagem aqui

Imagem após a aplicação do Treshold:

inserir a descrição da imagem aqui

Imagem Ilustrativa do que quero que o código faça :

inserir a descrição da imagem aqui

Na última imagem, zoomada, tem os pontos que seriam distribuidos apenas nas áreas em preto, e as linhas sobre estes pontos,que estou tentando colocar utilizando a transformada de hough, que é o que eu almejo como produto final. Elas tem como finalidade apresentar falhas nas linhas de colheita.

Agradeço desde já qualquer ajuda ou recomendação de leitura e/ou tutoriais.

2
  • 1
    Você possui uma imagem de exemplo e consegue desenhar no paint o que deseja? Iria ajudar outros usuários a responderem. Commented 12/09/2018 às 17:57
  • Muito obrigada pelo comentário. Adicionei 3 imagems, tentando deixar bem ilustrativo o problema. Commented 13/09/2018 às 18:50

2 Respostas 2

2

É um projeto de TCC bacana, não parece ser nada fácil lol, vou tentar colocar minhas ideias e percepções.

Fiquei olhando sua imagem processada e tentando achar padrões a olho nu, as plantações causam muito ruído, talvez com treshold adaptável seja possível usar somente a transformada de hough, mas isso vai depender de testes e vários parâmetros que só você vai conseguir definir, eu já vi vários algoritmos que utilizam função hough do OpenCV no stackoverflow gringo, olha só quantos parâmetros você tem que "tunar" para talvez chegar no nível que deseja, seguindo a resposta gringa, eu também compartilho de algumas ideias da resposta dada pelo autor:

Sim colocar tudo em escala de cinza é altamente recomendável, quanto menor a quantidade de cores, mais fácil será para encontrar padrões, no seu caso talvez você precise testar se o resultado final vai funcionar melhor em preto e branco ou em escala de cinza

gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY)

Outro ponto importante é criar um filtro na sua imagem pra tentar amenizar essa quantidade de ruídos existentes, como estudante de Engenharia Elétrica eu espero que você coma isso com farinha no café da manhã rsrs, filtros passa baixa/passa alta, etc, é claro que um filtro passa baixa pode suavizar a sua imagem, OpenCv, possui funções prontas pra isso, dá uma olhada qual delas vai funcionar melhor na sua imagem; blur, GaussianBlur, medianBlur, bilateralFilter, como exemplo veja a diferença ao utilizar a função Blur

blur = cv2.blur(img,(5,5))

inserir a descrição da imagem aqui

A imagem deu uma borra, mas olha como os ruídos nas bordas das palavras foram suavizados, reparou no valor (5,5) dentro da função? ela é mais um parâmetro que deve ser tunado por você, qual o valor do Kernel do filtro passa baixa é melhor para remover ruídos na sua imagem? Só você ir testando e plotando os resultados, vai ter que fazer uma análise a olho para definir qual valor usado remove mais ruídos na sua percepção visual...

O próximo passo é detectar todas as bordas da imagem, claro esse passo também possui vários valores que serão encontrados por você, mais uma vez OpenCV possui várias funções nativas, já usei Cany e Sobel pra fazer isso, veja o efeito que esse algoritmo causa na imagem:

inserir a descrição da imagem aqui

low_threshold = 50
high_threshold = 150
cv2.Canny(blur, low_threshold, high_threshold)

O exemplo acima aplica Canny na imagem, repara nos thresholds, mais uma vez você vai ter que a olho definir quais valores funcionam melhor para a sua imagem, acredito que ao aplicar Canny, tudo vai "clarear", as retas ficarão muito visíveis e bem fáceis para o próximo passo(Hough transform)

E agora sim aplicar a transformada de Hough, conforme código do link gringo:

rho = 1  # distance resolution in pixels of the Hough grid
theta = np.pi / 180  # angular resolution in radians of the Hough grid
threshold = 15  # minimum number of votes (intersections in Hough grid cell)
min_line_length = 50  # minimum number of pixels making up a line
max_line_gap = 20  # maximum gap in pixels between connectable line segments
line_image = np.copy(img) * 0  # creating a blank to draw lines on

# Run Hough on edge detected image
# Output "lines" is an array containing endpoints of detected line segments
lines = cv2.HoughLinesP(edges, rho, theta, threshold, np.array([]),
                    min_line_length, max_line_gap)

Olha a quantidade de parâmetros que você terá que encontrar para a sua imagem, é um trabalho braçal para encontrar quais valores trazem os melhores resultados, repara que a função cv2.HoughLinesP está retornando todas as coordenadas x,y de onde na sua imagem existem as possíveis retas...

Digamos que essa seria uma maneira "fácil" de se fazer, só tratando a imagem e vendo se Filtros + Canny + hough seriam capazes de achar as linhas que você precisa, teste o código do link que te passei, adapte todos os parâmetros para a realidade da sua imagem, veja se o resultado que consegue é o esperado...

Agora tem o Hard Way, que é a opção que o seu orientador passou... Acredito que ele tenha pedido pra você desenhar círculos nas áreas pretas(plantas) pra depois utilizar somente as marcas(posições) dos círculos, faz sentido pq se você remover tudo que tem na imagem e deixar somente os círculos não vai ter ruído algum, seria uma imagem de fundo branco com as posições dos círculos e só, fácil fácil para hough encontrar padrões de linha reta, mas como fazer isso ? hummm

Não é nada simples lol, os passos iniciais que falei acima continuam sendo um pré requisito(deixar em escala cinza ou preto e branco e aplicar filtro passa baixa), OK feito estes passos, agora você terá que caminhar na imagem com for, linha por linha, coluna por coluna, achar o pixel da posição atual, tipo estou na linha x coluna y da imagem e o pixel aqui é preto ou branco? se for preto pego a posição que estou na imagem (x,y) e desenho um circulo (pontinho pequeno) na imagem usando o cvCircle

Exemplo de uso dessa função:

cvCircle(img2, cvPoint(posicaoX, posicaoY), 2,  cvScalar(0, 0, 255, 0),    -1, 8, 0);

Claro eu falei de uma maneira simplista de mais, uma maneira eficaz de encontrar a posição correta e desenhar os círculos seria, estou na posição x,y da imagem, olho ao redor dessa posição e vejo a proporção de pixels pretos, se for uma proporção grande de pixels pretos eu tenho grandes chances de desenhar um circulo cvCircle no lugar certo, quando eu digo olhar ao redor é a partir da posição atual olhar um raio Z(acima, abaixo, esquerda e direita), eu não sei se existe nada pronto que faça isso no OpenCV, talvez você tenha que fazer esse algoritmo no braço, ou adaptar e usar a função connectedComponents está função pode ser útil pra você definir uma região de análise de interesse(ao redor da sua posição atual) e verificar a quantidade de pontos conectados(pixels pretos), dá uma lida em toda a documentação do opencv, leia com cuidado todas as funções existentes e procure por algo que talvez facilite sua vida.

Caminhou por toda a imagem e marcou com pontos, aplique hough

Espero que as ideias e percepções que te passei ajude a clarear as coisas.

1
  • Primeiramente, muito, mas muitooo obrigada por tomar o tempo de escrever uma resposta tão completa. Ajudou e muito a dar um norte nessa parte do projeto. Pra ser sincera, eu acho que meu orientador não tinha uma real noção da tarefa quando me passou, até porque ele sabe que não tenho experiência em programação, salvo algumas poucas matérias introdutórias. Devido a grande quantidade de informação na resposta eu vou começar a trabalhar com essas novas possibilidades apresentadas e testar de várias maneiras. Assim que eu conseguir algum resultado trago um feedback aqui. De novo: muitoooo obrigada Commented 15/09/2018 às 20:06
1

A ideia de solução que encontrei foi a seguinte:

  1. Carregar imagem
  2. Extrair o verde
  3. Threshold para binarizar
  4. Encontrar as linhas com Probabilistic Hough Transform
  5. Skeletonize ou Thin

Carregar imagem

img = cv2.imread('C:\\Users\\Desktop\\teste\\1.jpg')

Extrair o verde

Converte para HSV e faz o slice da cor verde.

hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
mask = cv2.inRange(hsv, (36, 0, 0), (70, 255,255))
## slice no verde
imask = mask>0
verde = np.zeros_like(img, np.uint8)
verde[imask] = img[imask]
cv2.imwrite('C:\\Users\\Desktop\\teste\\2.jpg', verde)

HSV verde

Threshold

Utiliza o threshold para transformar o canal V da imagem HSV em binário

(canal_h, canal_s, canal_v) = cv2.split(verde)
retval, threshold = cv2.threshold(canal_v, 130, 255, cv2.THRESH_BINARY+cv2.THRESH_OTSU)
cv2.imwrite('C:\\Users\\Desktop\\teste\\3.jpg', canal_v)

Threshold

Transformada Probabilística de Hough

Realiza a transformada de rough com os parâmetros th, minLineLength e maxLineGap variáveis, em que você pode alterá-los e testar.

E alterar a largura da linha criada em: cv2.line(img,(x1,y1),(x2,y2),(0,0,0),15) onde o número 15 é a largura da linha.

img = np.ones((3000,4000,3), np.uint8) gera uma imagem branca 4000 px x 3000 px, porém a biblioteca do OpenCV utiliza a binarização de forma diferente da numpy. Onde a numpy utiliza 0,1 e OpenCV 0,255, portanto, para solucionar este problema: img[img==1]=255

th=255
minLineLength = 100
maxLineGap = 10
lines = cv2.HoughLinesP(threshold,1,np.pi/180,th,minLineLength,maxLineGap)
img = np.ones((3000,4000,3), np.uint8)
img[img==1]=255
for x in range(0, len(lines)):
    for x1,y1,x2,y2 in lines[x]:
        cv2.line(img,(x1,y1),(x2,y2),(0,0,0),15)
cv2.imwrite('C:\\Users\\Desktop\\teste\\4.jpg', img)

![Hough Transform

A transformada não ficou muito bem formada pelas características da imagem, em que o contraste e dimensões do objeto da foto não são perfeitos, provavelmente uma segmentação com CNN seja melhor.

Skeletonize

Utilizando a seguinte função:

def find_skeleton3(img):
    # https://stackoverflow.com/a/42846932/7690982
    skeleton = np.zeros(img.shape,np.uint8)
    eroded = np.zeros(img.shape,np.uint8)
    temp = np.zeros(img.shape,np.uint8)

    retval,thresh = cv2.threshold(img,127,255,cv2.THRESH_BINARY_INV+cv2.THRESH_OTSU)

    kernel = cv2.getStructuringElement(cv2.MORPH_CROSS,(3,3))

    iters = 0
    while(True):
    cv2.erode(thresh, kernel, eroded)
    cv2.dilate(eroded, kernel, temp)
    cv2.subtract(thresh, temp, temp)
    cv2.bitwise_or(skeleton, temp, skeleton)
    thresh, eroded = eroded, thresh # Swap instead of copy

    iters += 1
    if cv2.countNonZero(thresh) == 0:
        return (skeleton,iters)

para obter o esqueleto do resultado da Transformada de Hough, e depois dilatando o resultado da Skeletonize:

img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
esqueleto, iters = find_skeleton3(img)
esqueleto =  cv2.dilate(esqueleto,kernel,iterations = 4)
cv2.imwrite('C:\\Users\\Desktop\\teste\\5.jpg', esqueleto)

Resultado

Código completo

import cv2
import numpy as np

kernel = cv2.getStructuringElement(cv2.MORPH_CROSS, (3, 3))

def find_skeleton3(img):
    # https://stackoverflow.com/a/42846932/7690982
    skeleton = np.zeros(img.shape,np.uint8)
    eroded = np.zeros(img.shape,np.uint8)
    temp = np.zeros(img.shape,np.uint8)

    retval,thresh = cv2.threshold(img,127,255,cv2.THRESH_BINARY_INV+cv2.THRESH_OTSU)

    kernel = cv2.getStructuringElement(cv2.MORPH_CROSS,(3,3))

    iters = 0
    while(True):
        cv2.erode(thresh, kernel, eroded)
        cv2.dilate(eroded, kernel, temp)
        cv2.subtract(thresh, temp, temp)
        cv2.bitwise_or(skeleton, temp, skeleton)
        thresh, eroded = eroded, thresh # Swap instead of copy

        iters += 1
        if cv2.countNonZero(thresh) == 0:
            return (skeleton,iters)

img = cv2.imread('C:\\Users\\Desktop\\teste\\1.jpg')
#HSV
#https://stackoverflow.com/a/47483966/7690982
hsv = cv2.cvtColor(img, cv2.COLOR_BGR2HSV)
mask = cv2.inRange(hsv, (36, 0, 0), (70, 255,255))
## slice no verde
imask = mask>0
verde = np.zeros_like(img, np.uint8)
verde[imask] = img[imask]
cv2.imwrite('C:\\Users\\Desktop\\teste\\2.jpg', verde)

#Threshold
(canal_h, canal_s, canal_v) = cv2.split(verde)
retval, threshold = cv2.threshold(canal_v, 130, 255, cv2.THRESH_BINARY+cv2.THRESH_OTSU)
cv2.imwrite('C:\\Users\\Desktop\\teste\\3.jpg', canal_v)

#Hough
minLineLength = 100
maxLineGap = 10
lines = cv2.HoughLinesP(threshold,1,np.pi/180,255,minLineLength,maxLineGap)
img = np.ones((3000,4000,3), np.uint8)
img[img==1]=255
for x in range(0, len(lines)):
    for x1,y1,x2,y2 in lines[x]:
        cv2.line(img,(x1,y1),(x2,y2),(0,0,0),15)
cv2.imwrite('C:\\Users\\Desktop\\teste\\4.jpg', img)

#Skeletonize
img = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
esqueleto, iters = find_skeleton3(img)
esqueleto =  cv2.dilate(esqueleto,kernel,iterations = 4)
cv2.imwrite('C:\\Users\\Desktop\\teste\\5.jpg', esqueleto)
1
  • Sem palavras para agradecer. Obrigada pela resposta. Eu nunca ia conseguir encontrar essas alternativas e nem conhecia o Skeletonize. Vou, hoje mesmo, começar a testar todos os parâmetros e ver que resultados consigo obter. Não tem problema a transformada não ficar muito bem formada, inclusive um dos objetivos é reconhecer as partes onde ela não se forma pra então identificar uma falha na crop line. Te agradeço imensamente pelos códigos que tu dedicou teu tempo pra fazer. Com a pouca experiência em programação eu normalmente me viro fazendo alguma engenharia reversa, então isso ajuda demaiss. Commented 15/09/2018 às 20:15

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .