神经网络中的大多数关键点都不是局部最小值，正如在这个问题中可以看到的那样。尽管陷入局部最小值并非不可能，但它发生的概率是如此之低，以至于实际上它不会发生，除非是作为单层感知器的非常特殊的情况。

由于很难找到局部最小值，这意味着在您的优化方法中极不可能遇到全局最小值。我们在深度学习中所做的只是减少损失函数以找到相当好的参数，但找到局部和全局最小值的可能性极小。