为冗长的标题道歉。我的问题是关于使用随机梯度下降的逻辑回归的权重更新规则。
我刚刚开始尝试逻辑回归。我遇到了两个权重更新表达式,不知道哪个更准确,为什么它们不同。
第一种方法:
资料来源:(书籍)人工智能:Norvig,Russell 的现代方法,第 726-727 页:使用 L2 损失函数:
其中 g 代表逻辑函数 g' 代表 g 的导数 w 代表权重 hw(x) 代表逻辑回归假设
另一种方法:
来源(Charles Elkan 撰写的论文):Logistic 回归和随机梯度训练。
可以在这里找到