如果你使用凸损失函数，你总是有一个最佳点，而且你总能找到它。

我进行了一些计算，得到了正确的结果，但并非针对我尝试指定的所有学习率。

原因是您可能选择了较大的学习率，这可能会导致超出最优值。它也可能太小以至于您无法达到所需的点，这完全取决于您的数据。如果使用简单的梯度下降算法，是一个可以看到很多的事件。您可以使用其他优化技术，例如Adam哪个更好，并且您很少看到这些问题。