使用随机梯度下降的逻辑回归中权重更新规则的正确公式是什么

人工智能 机器学习 梯度下降 逻辑回归
2021-10-25 01:34:07

为冗长的标题道歉。我的问题是关于使用随机梯度下降的逻辑回归的权重更新规则。

我刚刚开始尝试逻辑回归。我遇到了两个权重更新表达式,不知道哪个更准确,为什么它们不同。

第一种方法:

资料来源:(书籍)人工智能:Norvig,Russell 的现代方法,第 726-727 页:使用 L2 损失函数:

在此处输入图像描述

在此处输入图像描述

其中 g 代表逻辑函数 g' 代表 g 的导数 w 代表权重 hw(x) 代表逻辑回归假设

另一种方法:

来源(Charles Elkan 撰写的论文):Logistic 回归和随机梯度训练。

可以在这里找到

在此处输入图像描述

0个回答
没有发现任何回复~