我正在研究神经网络。
我们使学习率越小,LMS 算法记住过去数据的内存跨度就越长。(Simon Hykin 的“神经网络和学习机器”的第 3.5 节(第 103 页):)
我不明白为什么会这样。有人可以解释一下吗?
我正在研究神经网络。
我们使学习率越小,LMS 算法记住过去数据的内存跨度就越长。(Simon Hykin 的“神经网络和学习机器”的第 3.5 节(第 103 页):)
我不明白为什么会这样。有人可以解释一下吗?
这应该是您的模型使用的权重更新公式。
是学习率,我们将它乘以我们想要做的改变。显然,你的学习率越小,你所做的更新就越少,因此模型收敛的“时间越长”,模型记住其先前状态的时间也就越长。
像这样想,如果你将学习率设置为 0,你什么也学不到,你的参数也永远不会更新。