反向传播时我应该使用什么权重?

人工智能 神经网络 机器学习 反向传播
2021-11-03 22:48:50

我最近开始学习神经网络,但我找不到这个问题的答案。

假设有一个神经网络(图 1) 图1

所以如果损失函数是: 损失函数

导数衍生是: 导数定义

dE/dw122如果我想用它来查找kl(好吧,这里只有一个索引为l的神经元,但如果还有更多呢?)我应该在w^3_kland中使用w^2_jk

我还发现了“其他”反向传播的方法,这里描述了它,但我不明白他们是如何从原始方程中得出这种方法的w -= step * dE/dw

抱歉,如果我未能解释我的问题。如果有什么不清楚的地方请在评论中提问。

1个回答

首先我假设你记下y作为模型输出和z作为基本事实。其次,我假设这是一个线性模型(没有激活函数)。然后梯度数学是这样的:

dEdwij1=dEdydydwij1=dEdykynk3dnk3dwij1=dEdykynk3nk3nj2dnj2dwij1=2(zy)kwkl3wjk2xi

所以你很难弄清楚是哪个k要使用的索引,答案是因为您需要同时使用两者并对它们求和。l索引只是唯一的l存在的索引,因为您在该层中只有一个节点。