我最近开始学习神经网络,但我找不到这个问题的答案。
如果我想用它来查找k和l(好吧,这里只有一个索引为l的神经元,但如果还有更多呢?)我应该在
and中使用
?
我还发现了“其他”反向传播的方法,这里描述了它,但我不明白他们是如何从原始方程中得出这种方法的w -= step * dE/dw。
抱歉,如果我未能解释我的问题。如果有什么不清楚的地方请在评论中提问。
我最近开始学习神经网络,但我找不到这个问题的答案。
如果我想用它来查找k和l(好吧,这里只有一个索引为l的神经元,但如果还有更多呢?)我应该在
and中使用
?
我还发现了“其他”反向传播的方法,这里描述了它,但我不明白他们是如何从原始方程中得出这种方法的w -= step * dE/dw。
抱歉,如果我未能解释我的问题。如果有什么不清楚的地方请在评论中提问。
首先我假设你记下作为模型输出和作为基本事实。其次,我假设这是一个线性模型(没有激活函数)。然后梯度数学是这样的:
所以你很难弄清楚是哪个要使用的索引,答案是因为您需要同时使用两者并对它们求和。这索引只是唯一的存在的索引,因为您在该层中只有一个节点。