0

Quero fazer um modelo de rede neural convolucional usando o keras. O input é um conjunto de imagens de tamanho 360,640,3 e a saída deve ser 720,1280,3.

Para tanto fiz o seguinte modelo :

w,h,c=x_train[0].shape


entrada = Input(shape=(w,h,c),name='LR')
x = UpSampling2D(size=(2,2), name='UP')(entrada)
print(x.shape)
h = Dense(720, activation='relu', name ='hide')(x)
h2= Dense(1280, activation='relu', name ='hide2')(h)
output= Dense(3, activation='relu', name ='output')(h2)


model = Model(inputs=entrada, outputs=output)
model.compile(loss='mse', optimizer='adam', metrics=['accuracy'])
model.fit(x_train,y_train, epochs=50, verbose=0)

O x_train tem tamanho de (360,640,3) e o y_train tem tamanho de (720,1280,3).

Contudo quando coloco para rodar recebo a seguinte mensagem :

ResourceExhaustedError: OOM when allocating tensor with shape[4608000,720] and type float on /job:localhost/replica:0/task:0/device:CPU:0 by allocator cpu
     [[{{node hide/MatMul}}]]
Hint: If you want to see a list of allocated tensors when OOM happens, add report_tensor_allocations_upon_oom to RunOptions for current allocation info.

Meu propósito é pegar uma imagem menor com uma certa característica e fazer a rede aprender a ficar igual a imagem de tamanho maior sem a característica.

Alguém sabe o que estou fazendo de errado ?

1

1 Resposta 1

1

Sobre OOM

Problema de OOM (Out Of Memory) acontece quando a memória disponível não é suficiente. Quando usamos imagens, a arquitetura mais comum envolve Convoluções e Poolings, pois isso diminui a quantidade de parâmetros da rede, como apontado pelo @Daniel Falbel. Porém, com a sua arquitetura, a quantidade total de parâmetros é 929.603, o que não é um número absurdo. Para ver o número de parâmetros, basta fazer model.summary().

Por isso, o problema deve estar no model.fit(x_train,y_train, epochs=50, verbose=0). Carregar todas as imagens do dataset e alimentar o modelo pode ser muito pesado para a memória, por isso é comum usar fit_genetator(). Com o gerador, é possível subir para a memória apenas algumas imagens e treinar a rede aos poucos para não sobrecarregar a memória.

Sobre Redes Convolucionais

Para classificar uma imagem, uma arquitetura comum é:

Input -> Convolução -> Pooling -> Convolução -> Pooling -> Convolução -> Flatten -> Dense ->Dense -> Output

O código em Keras equivalente é:

def My_Conv_Model(channels, pixels_x, pixels_y, num_categories):
    img_input  = Input(shape=(pixels_x, pixels_y, channels)
                    , name='img_input')

    first_Conv2D = Conv2D(filters=40, kernel_size=(3, 3), data_format='channels_last'
                       , activation='relu', padding='valid')(img_input)
    first_Conv2D = MaxPooling2D(pool_size=(3, 3), padding='same', data_format='channels_last')(first_Conv2D)

    second_Conv2D = Conv2D(filters=20, kernel_size=(3, 3), data_format='channels_last'
                        , activation='relu', padding='valid')(first_Conv2D)
    second_Conv2D = MaxPooling2D(pool_size=(3, 3), padding='same', data_format='channels_last')(second_Conv2D)

    third_Conv2D = Conv2D(filters=10, kernel_size=(3, 3), data_format='channels_last'
                        , padding='valid')(second_Conv2D)

    flat_layer = Flatten()(third_Conv2D)

    first_Dense = Dense(128,)(flat_layer)
    second_Dense = Dense(32,)(first_Dense)

    target = Dense(num_categories, name='class_output')(second_Dense)

    seq = Model(inputs=img_input, outputs=target, name='Model')

    return seq

Total de parâmetros para uma entrada no formato (360, 640, 3): 3,370,632

Para gerar uma imagem a partir de outra, uma arquitetura comum é:

Input -> Convolução -> Pooling -> Convolução -> Pooling -> Convolução Transposta -> Convolução Transposta -> Output

O código em Keras equivalente é:

def My_Conv_Model(channels, pixels_x, pixels_y):
    img_input  = Input(shape=(pixels_x, pixels_y, channels)
                    , name='img_input')

    first_Conv2D = Conv2D(filters=40, kernel_size=(3, 3), data_format='channels_last'
                       , activation='relu', padding='same')(img_input)
    first_Conv2D = MaxPooling2D(pool_size=(2, 2), padding='same', data_format='channels_last')(first_Conv2D)

    second_Conv2D = Conv2D(filters=20, kernel_size=(3, 3), data_format='channels_last'
                        , activation='relu', padding='same')(first_Conv2D)
    second_Conv2D = MaxPooling2D(pool_size=(2, 2), padding='same', data_format='channels_last')(second_Conv2D)

    third_Conv2D = Conv2D(filters=10, kernel_size=(3, 3), data_format='channels_last'
                        , padding='same')(second_Conv2D)

    first_Conv2DTranspose = Conv2DTranspose(64, (5, 5), strides=2, padding='same')(third_Conv2D)

    second_Conv2DTranspose = Conv2DTranspose(32, (5, 5), strides=2, padding='same')(first_Conv2DTranspose)

    target = Conv2DTranspose(3, (5, 5), strides=2, padding='same')(second_Conv2DTranspose)

    seq = Model(inputs=img_input, outputs=target, name='Model')

    return seq

Total de parâmetros para uma entrada no formato (360, 640, 3): 79,849

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .