为什么神经网络中成本偏差的变化等于神经元中的误差?
人工智能
神经网络
深度学习
反向传播
数学
结石
2021-11-13 08:21:56
1个回答
这只是链式法则的一个应用。同一章有“四个基本方程的证明”部分,证明了BP1-2,而PB3-4留给读者作为练习。我同意这确实是一个很好的练习,这就是为什么我鼓励你在这里停下来并尝试使用链式法则自己证明它。
现在,如果您决定进一步阅读,这里是一个证明的草图。
回忆方程 (25) 和 (29),两个定义:
是一个线性变换:
是偏导数关于:
链式法则本身:
- 的偏导数关于:
这个总和中的几乎所有元素都将为零,除了一个. 其中的第一项是根据定义, 第二项是, 因为是线性的.
关于权重的导数采用相同的方式,仅在最后一项不同:是线性的也一样,但有一个系数.
其它你可能感兴趣的问题