在对批量梯度下降进行编码时,很容易对收敛进行编码,因为在每次迭代后成本趋于最小值,并且当成本的变化趋于接近预定义的数字时,我们停止迭代并得出梯度下降已经收敛的结论。但在随机 GD 中,成本往往会在某个时间点偏离局部 mimina。在这里确定变化的阈值不起作用,因为 SGD 并不总是趋于收敛,而是波动很大。在 python 中编码时,当成本趋于最低时,我如何知道迭代次数?
如何确定随机梯度下降的收敛性?
数据挖掘
梯度下降
2022-03-12 20:36:08
1个回答
考虑到随机梯度下降的轻微波动,要么在最近的几次运行中取平均值,要么设置一个 epsilon/error 值以获得最小的改进。
其它你可能感兴趣的问题