SGD,手工计算

数据挖掘 机器学习 梯度下降
2022-03-06 20:24:19

虽然我找到了很多 SGD(随机梯度下降)的材料,但我正在努力寻找一个带有数字的具体示例,例如手动计算它,比如说,一次迭代会对我有很大帮助。

在此处输入图像描述

1个回答

您可以在以下优化器的 Numpy 中的以下链接示例中看到

  • 随机梯度下降
  • 随机梯度下降 + 动量
  • 随机梯度下降 + Nesterov 动量
  • 阿达格勒
  • 阿达三角洲
  • RMSProp
  • 亚当
  • 阿达麦克斯
  • 那达慕

只需克隆存储库并Report.ipyb使用 Jupyter Notebooks 打开。

https://github.com/ivallesp/awesome-optimizers