我想解释一下它的含义，db2=np.sum(dz2,axis=0,keepdims=True)因为它曾经让我感到困惑并且没有得到回答。

L(loss) wrt的导数b是上游导数乘以局部导数：

$$\frac{ \partial L}{\partial \mathbf{b}} = \frac{ \partial L}{\partial Z} \frac{ \partial Z}{\partial \mathbf{b}}$$

如果我们有多个样本Z并且L都是矩阵。b 仍然是一个向量。

局部导数只是一个向量：

$$\frac{ \partial Z}{\partial \mathbf{b}} = \frac{\partial}{\partial \mathbf{b}} W \times X + \mathbf{b} = \mathbf{1}$$

这意味着我们的完整导数是矩阵乘法，如下所示（例如，2 个样本和 3 个输出）：

$$\frac{\partial L}{\partial Z} \times \mathbf{1} = \begin{bmatrix} . &. &. \\ . &. &. \end{bmatrix} \begin{bmatrix} 1\\ 1\\ 1\\ \end{bmatrix}$$

请注意，这是行的总和。

这就是db2=np.sum(dz2, axis=0, keepdims=True)从哪里来的。它只是局部和上游导数的矩阵乘法的缩写。

偏差项非常简单，这就是为什么您经常看不到它被计算出来的原因。实际上

db2 = dz2

因此，您对单个项目的偏差的更新规则是：

b2 += -alpha * dz2

和

b1 += -alpha * dz1

在数学方面，如果你的损失是$J$， 而且你知道$\frac{\partial J}{\partial z_i}$对于给定的神经元$i$有偏差项$b_i$. . .

$$\frac{\partial J}{\partial b_i} = \frac{\partial J}{\partial z_i} \frac{\partial z_i}{\partial b_i}$$

和

$$\frac{\partial z_i}{\partial b_i} = 1$$

因为$z_i = (\text{something unaffected by } b_i) + b_i$

---

看起来您复制的代码使用了表单

db2=np.sum(dz2,axis=0,keepdims=True)

因为该网络旨在处理（小）批次中的示例，因此您一次计算多个示例的梯度。总和将结果压缩为单个更新。如果您还显示了权重的更新代码，这将更容易确认。

首先，您必须更正 Sigmoid 函数梯度的公式。

sigmoid函数的一阶导数是： (1−σ(x))σ(x)

您的 dz2 公式将变为： dz2 = (1-h2)*h2 * dh2

您必须使用 sigmoid 函数的输出而σ(x)不是梯度。

您必须对偏差的梯度求和，因为该梯度来自许多单个输入（输入数 = 批量大小）。因此，我们必须累积它们来更新第 2 层的偏差。但是，对于第 1 层的梯度，由于它们来自第 2 层的许多节点，因此您必须对所有梯度求和才能更新第 1 层的偏差和权重. 这种情况与第 2 层中的偏差之和不同。

我对两个具有激活函数的全连接层的实现是 sigmoid 函数：

lr = 1e-3
f = lambda x: 1.0/(1.0 + np.exp(-x))
# pass through layer 1
out_l1 = np.dot(x, W_1) + b_1

out_s1 = f(out_l1)

# pass through layer 2
out_l2 = np.dot(x, W_2) + b_2

out_s2 = f(out_l2)

loss = get_loss(out_s2, y)

# BACKWARD PASS
grad = out_s2 - y

d_h2 = (1 - out_s2) * out_s2 * grad

# Accumulate the gradient come from all examples
d_W2 = out_s1.T.dot(d_h2)
d_b2 = np.sum(d_h2, axis=0, keepdims=True)

# sum of gradient come out from prev node:
grad_1 = np.sum(d_W2.T, axis=0, keepdims=True)
d_h1 = (1 - out_l1) * out_l1 * grad_1

d_W1 = x.T.dot(d_h1)
d_b1 = np.sum(d_h1, axis=0, keepdims=True)

W_1 -= d_W1 * lr
b_1 -= d_b1 * lr

W_2 -= d_W2 * lr
b_2 -= d_b2 * lr

L（损失）wrt b的导数的实现非常混乱。特别是，参数axis=0意味着您要计算列的总和而不是行的总和。如果我错了，请纠正我。