雅可比行列式确实是一个相当笼统的术语。让我们来看看这个简单的单隐藏层网络

$$\hat{\boldsymbol{y}} = g(\mathbf{W}^{(1)} \cdot f(\mathbf{W}^{(0)} \cdot \boldsymbol{x} + \boldsymbol{b}^{(0)}) + \boldsymbol{b}^{(1)})$$ 举个例子。

在网上查看时，我发现大多数人（例如这里或这里）参考体重更新，即

$$\frac{\partial \hat{y}}{\partial W^{(0)}_{ij}}, \frac{\partial \hat{y}}{\partial W^{(1)}_{ij}}, \frac{\partial \hat{y}}{\partial b^{(0)}_i}, \frac{\partial \hat{y}}{\partial b^{(1)}_i}$$

不过，在我看来，神经网络的雅可比应该是神经网络所表示的函数的雅可比，即

$$net : \mathbb{R}^m \to \mathbb{R}^n : \boldsymbol{x} \mapsto net(\boldsymbol{x}) = g(\mathbf{W}^{(1)} \cdot f(\mathbf{W}^{(0)} \cdot \boldsymbol{x} + \boldsymbol{b}^{(0)}) + \boldsymbol{b}^{(1)}),$$ 在哪里$m$是输入向量的维数（特征的数量）和$n$是输出的维度（类数）。该网络的雅可比矩阵将简单地为$\mathbf{J} = \frac{\partial \hat{\boldsymbol{y}}}{\partial{\boldsymbol{x}}}$有条目$J_{ij} = \frac{\partial \hat{y}_i}{\partial x_j}.$

神经网络的经典方法是获取一批样本并计算这些样本的平均梯度。对于雅可比行列式而不是计算平均梯度 - 您分别计算每个样本的梯度。最后，您将得到具有 N 行和 M 列的矩阵，其中 N 是通过网络传播的样本数，M 是网络中参数的总数。Jacobian 矩阵中的每一行都是每个输入样本的完整梯度。

重要的是，如果您处理大量输入样本，则为神经网络计算雅可比行列式是低效的。

只是@Mr Tsjolder 所说的图形表示：

网络的输入是$\mathbf{X}$

和

让我们把网络$\mathbf{O}$=$\mathbf{W}$*$\mathbf{X}$（我们也可以有任何其他关系！！这只是一个例子！！）

该网络的雅可比矩阵将简单地为$\mathbf{J} = \frac{\partial {\mathbf{O}}}{\partial{\mathbf{X}}}$