我们通过使用微积分知道“如果一个函数是非凸损失函数而不绘制图形”。引用维基百科的凸函数文章:“如果函数是二次可微的,并且其整个域的二阶导数始终大于或等于零,则该函数是凸函数。 ”如果二阶导数始终大于零,则它是严格凸的。
因此,如果我们可以证明我们选择的成本函数的二阶导数始终为正,则该函数是凸的。
我们关心凸性是因为凸函数的最小值也是全局最小值。如果函数是严格凸函数,那么它最多有一个全局最小值,这也很方便;我们证明了特定解决方案的全局最优性。请参阅此处的线程,了解为什么我们通常希望目标函数是凸函数,以及梯度下降是否可以应用于非凸函数,以获取有关此问题的更多信息。