最小均方算法的学习率和记忆

数据挖掘 神经网络 算法
2022-03-03 17:25:56

我正在研究神经网络。

我们使学习率越小,LMS 算法记住过去数据的内存跨度就越长。(Simon Hykin 的“神经网络和学习机器”的第 3.5 节(第 103 页):)

我不明白为什么会这样。有人可以解释一下吗?

1个回答

这应该是您的模型使用的权重更新公式。

Wn+1=Wnμϵ[n],

μ是学习率,我们将它乘以我们想要做的改变。显然,你的学习率越小,你所做的更新就越少,因此模型收敛的“时间越长”,模型记住其先前状态的时间也就越长。

像这样想,如果你将学习率设置为 0,你什么也学不到,你的参数也永远不会更新。