我正在尝试使用 Adam 优化器为 LSTM实现指数学习率衰减。我不想要“staircase = true”版本。对我来说，decay_steps 感觉就像学习率保持不变的步数。但我不确定这一点，Tensorflow 并没有在他们的文档中说明这一点。任何帮助深表感谢。
Tensorflow tf.train.exponential_decay 中的 decay_steps 是什么意思？
机器算法验证
神经网络
深度学习
梯度下降
张量流
亚当
2022-03-14 06:14:00
1个回答
如函数代码decay_steps中所述，与的关系decayed_learning_rate如下：
decayed_learning_rate = learning_rate *
decay_rate ^ (global_step / decay_steps)
因此，您应该设置与算法的decay_steps比例global_step。