2

Estou desenvolvendo um modelo de machine learning usando a biblioteca keras e percebo que as funções de perda disponíveis não estão dando os melhores resultados no meu conjunto de testes.

Estou usando uma arquitetura Unet, onde eu entro com uma imagem (16,16,3) e a rede também gera uma imagem (16,16,3) (auto-encoder). Percebi que talvez uma maneira de melhorar o modelo seria se eu usasse uma função de perda que compara pixel a pixel nos gradientes da imagem (laplaciano) entre a saída da rede e o conjunto de ground truth. No entanto, eu não encontrei nenhum tutorial que pudesse lidar com esse tipo de aplicação, porque ela precisaria usar a função laplacian do opencv em cada imagem de saída da rede.

A função de perda seria algo assim:

def laplacian_loss(y_true, y_pred):

  # y_true already is the calculated gradients, only needs to compute on the y_pred
  # calculates the gradients for each predicted image
  y_pred_lap = []
  for img in y_pred:
    laplacian = cv2.Laplacian( np.float64(img), cv2.CV_64F )
    y_pred_lap.append( laplacian )

  y_pred_lap = np.array(y_pred_lap)

  # mean squared error, according to keras losses documentation
  return K.mean(K.square(y_pred_lap - y_true), axis=-1)

Alguém já fez algo parecido para o cálculo de perda?

2
  • Translate your question to Portuguese. Commented 27/06/2019 às 13:18
  • Publiquei no lugar errado, acabo de traduzir. Commented 27/06/2019 às 13:26

1 Resposta 1

2

Consegui chegar a uma solução bem fácil. A questão principal era que o filtro de gradientes nada mais é do que um filtro 2D aplicado a imagem. Para maiores informações sobre o filtro, refira-se a documentação do OpenCV. Logo, é necessário que o resultado de minha rede seja filtrado por um filtro como o descrito na documentação. Para tanto, basta criar uma camada convolucional extra ao final da rede e que tenha como valores exatamente os do kernel do laplaciano. Após isso, como a rede terá duas saídas (uma sendo a imagem que se deseja obter, e outra a imagem dos gradientes), é necessário definir as perdas para ambas as saídas que, automaticamente, o keras irá propagar para toda a rede.

Para ficar mais claro o que se deve fazer, vou exemplificar com código. Então, no final da sua rede você fará algo do gênero:

channels = 3 # number of channels of network output  
lap = Conv2D(channels , (3,3), padding='same', name='laplacian') (net_output)
model = Model(inputs=[net_input], outputs=[net_out, lap])

Compile o seu modelo:

model.compile(optimizer=Adam(), loss=losses, loss_weights=lossWeights)

Defina o kernel do laplaciano e aplique seus valores aos pesos da camada convolucional e especifique que a camada não deve ser treinada:

bias = np.asarray([0]*3)
# laplacian kernel
l = np.asarray([
        [[[1,1,1],
        [1,-8,1],
        [1,1,1]
    ]]*channels
    ]*channels).astype(np.float32)
bias = np.asarray([0]*3).astype(np.float32)
wl = [l,bias] 
model.get_layer('laplacian').set_weights(wl)
model.get_layer('laplacian').trainable = False

Defina como será calculada as perdas para cada uma das saídas e seus pesos (se necessário):

# losses for output, laplacian and gaussian
losses = {
    "enhanced": "mse",
    "laplacian": "mse"
}
lossWeights = {"enhanced": 1.0, "laplacian": 0.6}

Na hora de treinar, lembre que você precisará de dois valores para y, ou seja:

model.fit(x=X, y = {"out": y_out, "laplacian": y_lap})

Observação: Não utilize a camada BatchNormalization! Caso você a utilize, os pesos da camada do laplaciano serão atualizados (o que não deve ocorrer!).

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .