让我根据多元微积分给出一个解释。如果您参加过多元课程，您会听说，给定一个临界点（梯度为零的点），该临界点为最小值的条件是 Hessian 矩阵是正定的。由于 Hessian 矩阵是对称矩阵，我们可以对其进行对角化。如果我们将Hessian对应的对角矩阵写为：

$$D = \begin{bmatrix} d_{1} & & \\ & \ddots & \\ & & d_{n} \end{bmatrix}$$ Hessian 是正定的等价于 $d_1 > 0, \dots, d_n>0$.

现在让我们考虑一下深度学习成本函数。深度学习成本函数以非常复杂的方式依赖于大量参数，因此 Hessian 本身将具有复杂的表达式。因此，我们可以认为$d_1,\dots,d_n$不偏向负值或正值。因此，给定任何临界点，每个值的概率$d_i$ 为正可以假定为 $1/2$. 此外，可以合理地假设$d_i$ 不要轻易依赖于 $d_j$，由于 Hessian 矩阵的高度非线性，因此我们将它们为正的概率视为独立事件。

因此，给定一个临界点，它成为最小值的概率为：

$$P(d_1 > 0, \dots, d_n > 0) = P(d_1 > 0)\cdot \cdots \cdot P(d_n > 0) = \frac{1}{2^n}$$

任何临界点为最小值的概率随着输入空间的维度呈指数下降。在深度学习中，这个空间可以从 1000 到$10^8$，并且在这两种情况下 $1/2^n$小得离谱。现在我们确信，考虑到我们遇到的任何临界点，它不太可能是最小值。

但是最大值呢？

函数的最大值是减去函数的最小值。出于这个原因，之前使用的所有参数都可以用来减去成本函数，我们得出结论，每个临界点都有$1/2 ^n$为最大值。

因此，给定一个临界点，它是鞍点的概率为

$$P(saddle) = 1 - P(maximum) - P(minimum) = 1 - \frac{1}{2^n} - \frac{1}{2^n} = 1 - \frac{1}{2^{n-1}}$$

如果非常接近 1$n$足够大（通常在深度学习中）。

这只是试图传达我的直觉，即不严谨。鞍点的问题在于它们是一种结合了最小值和最大值的最优值。由于深度学习的维数如此之大，最优仅由最小值组合组成的概率非常低。这意味着“陷入”局部最小值的情况很少见。冒着过度简化的风险，很难“卡在”鞍点，因为你可以“滑下一个维度”。我认为您提到的 Andrew Ng 视频来自他的 Coursera 深度学习课程。