人工智能 - 为什么我推导的反向传播方程与来自 Coursera 的 Andrew Ng 的幻灯片不一致？ - 吾爱随笔录

为什么我推导的反向传播方程与来自 Coursera 的 Andrew Ng 的幻灯片不一致？

人工智能数学反向传播衍生物麻木的

2021-10-21 13:12:24

我正在使用交叉熵成本函数来计算使用不同变量的导数 $Z, W$ 和 $b$ 在不同的情况下。请参考下图进行计算。

据我所知，我的推导是正确的 $dZ, dW, db$ 和 $dA$ ，但是，如果我提到 Andrew Ng Coursera 的东西，那么我会看到一个额外的 $\frac{1}{m}$ 为了 $dW$ 和 $db$ ，而没有 $\frac{1}{m}$ 在 $dZ$ . 左侧的 Andrew 幻灯片表示导数，而右侧的幻灯片显示了对应于右侧方程的 NumPy 实现。

有人可以解释为什么有：

1) $\frac{1}{m}$ 在 $dW^{[2]}$ 和 $db^{[2]}$ 在 Andrew 的 NumPy 表示的幻灯片中

2) 失踪 $\frac{1}{m}$ 为了 $dZ^{[2]}$ 在正常和 NumPy 表示的 Andrew 的幻灯片中。

我是否遗漏了什么或以错误的方式做事？

1个回答

TL;DR：这与 A. Ng 为课程定义反向传播的方式有关。

左栏

这仅针对一个输入示例，因此 $\frac{1}{m}$ 因子减为 1，可以省略。他使用小写来表示一个输入示例（例如一个向量 $dz$ ) 和大写相对于 (mini-)batch (例如矩阵 $dZ$ ）。

这 $\frac{1}{m}$ 因素 $dW,db$

在这个反向传播的定义中，他“推迟”乘以 $\frac{1}{m}$ 因子直到 $dW,db$ 而不是“吸收”它 $dZ^{[2]}$ . 那就是 $dZ^{[2]}$ 术语以它没有的方式定义 $\frac{1}{m}$ .

观察，如果你移动 $\frac{1}{m}$ 定义中的因素 $dZ^{[2]}$ 并将其从定义中删除 $dW,db$ 您仍然会为所有人提供相同的值 $dW,db$ .

猜测

这种“延迟”乘法可能与数值稳定性有关。或者只是 A. Ng 做出的风格选择。这也可能防止一个人“意外”乘以 $\frac{1}{m}$ 不止一次。

其它你可能感兴趣的问题

上一篇是否有在 FPGA 或神经芯片上实现的神经网络（用于控制）的示例？下一篇进化计算和进化算法有什么区别？