0

Preciso fazer uma otimização Bayesiana dos hiperparâmetros da minha Echo State Network (ESN). Para isso, estou utilizando o Keras Tuner e a ESN do Tensorflow Addons.

Montei o seguinte modelo:

def criar_modelo(hp):
    model = Sequential(name='ESN_NE')
    model.add(InputLayer((57, 1), name='camada_entrada'))
    model.add(ESN(units=hp.Int('units', min_value=100, max_value=500, step=50),
                  connectivity=hp.Float('connectivity', min_value=0.1, max_value=0.4, step=0.1),
                  spectral_radius=hp.Float('spectral_radius', min_value=0.5, max_value=0.9, step=0.1),
                  activation=hp.Choice('activation_esn', ['relu', 'tanh', 'sigmoid']),
                  name='camada_esn'))
    # model.add(Flatten())
    if hp.Boolean('dropout'):
        model.add(Dropout(rate=hp.Float('rate', min_value=0.2, max_value=0.5, step=0.1)))

    for k in range(hp.Int('num_layers', 1, 2)):
        model.add(Dense(units=hp.Int(f'units_{k}', min_value=24, max_value=120, step=24),
                        activation=hp.Choice('activation_dense', ['relu', 'tanh', 'sigmoid']),
                        name=f'{k}_dense'))
    model.add(Dense(units=24,
                    activation=hp.Choice('activation_out', ['relu', 'tanh', 'sigmoid']),
                    name='camada_saida'))
    model.compile(optimizer='adam',
                  loss='mean_squared_error')
    return model

Porém, estou obtendo o seguinte erro no momento de começar a busca pelos hiperpâmetros:

Search: Running Trial #1
Value             |Best Value So Far |Hyperparameter
200               |?                 |units
0.3               |?                 |connectivity
0.6               |?                 |spectral_radius
tanh              |?                 |activation_esn
False             |?                 |dropout
1                 |?                 |num_layers
72                |?                 |units_0
sigmoid           |?                 |activation_dense
relu              |?                 |activation_out
Traceback (most recent call last):
  File "C:\Users\Muril\PycharmProjects\tf-gpu\venv\lib\site-packages\keras_tuner\engine\tuner.py", line 158, in _try_build
    model = self._build_hypermodel(hp)
  File "C:\Users\Muril\PycharmProjects\tf-gpu\venv\lib\site-packages\keras_tuner\engine\tuner.py", line 146, in _build_hypermodel
    model = self.hypermodel.build(hp)
  File "<ipython-input-7-037106db3086>", line 4, in criar_modelo
    model.add(ESN(units=hp.Int('units', min_value=100, max_value=500, step=50),
  File "C:\Users\Muril\PycharmProjects\tf-gpu\venv\lib\site-packages\tensorflow\python\training\tracking\base.py", line 629, in _method_wrapper
    result = method(self, *args, **kwargs)
  File "C:\Users\Muril\PycharmProjects\tf-gpu\venv\lib\site-packages\keras\utils\traceback_utils.py", line 67, in error_handler
    raise e.with_traceback(filtered_tb) from None
  File "C:\Users\Muril\PycharmProjects\tf-gpu\venv\lib\site-packages\tensorflow_addons\rnn\esn_cell.py", line 159, in build
    self.recurrent_kernel = self.add_weight(
  File "C:\Users\Muril\PycharmProjects\tf-gpu\venv\lib\site-packages\tensorflow_addons\rnn\esn_cell.py", line 151, in _esn_recurrent_initializer
    scaling_factor = tf.math.divide_no_nan(
ValueError: Tensor conversion requested dtype float64 for Tensor with dtype float32: <tf.Tensor: shape=(), dtype=float32, numpy=0.55648464>

Pelo que vi do erro, ele ocorre na linha 4 da minha função criar_modelo(hp), ou seja, model.add(ESN(units=hp.Int('units', min_value=100, max_value=500, step=50). Essa linha é onde defino o número de neurônios da minha ESN, que são valores Int. Porém o erro remete a Float64 e Float32. Não entendi muito bem... o que fiz de errado?

2
  • Por favor, esclareça seu problema ou forneça detalhes adicionais a fim de destacar exatamente o que você precisa. Da forma como está escrito atualmente é difícil dizer com exatidão o que você está perguntando.
    – Comunidade Bot
    13/12/2022 às 12:17
  • O erro remete a linha 4 da minha função. Nessa linha eu defino o número de neurônios da minha ESN, que deve ser um int. Porém o erro mostrado é referente a float64 e float32. Não ficou claro para mim o porque, ou como resolver isso. Pois de fato não posso mudar aquele parâmetro units para float, ele deve ser int.
    – Murilo
    13/12/2022 às 12:26

1 Resposta 1

0

Entrei em contato com os responsáveis do Tensorflow Addons, e encontramos um erro no código que criava a célula da ESN. Segue o link do PR feito no Github para correção do erro.

https://github.com/tensorflow/addons/pull/2793

Basicamente, no arquivo esn_cell.py, deve-se trocar o self.spectral_radius por tf.cast(self.spectral_radius, dtype) nas linhas 146e 152.

Você deve fazer log-in para responder a esta pergunta.

Esta não é a resposta que você está procurando? Pesquise outras perguntas com a tag .