非凸损失函数

机器算法验证 机器学习 梯度下降
2022-03-04 11:52:33

我试图通过绘制函数中参数的误差与值来理解梯度下降算法。什么是形式为y = f(x)的简单函数的示例,只有一个输入变量 x 和两个参数 w1 和 w2 使得它具有非凸(具有多个最小值)损失函数?我想要实现的是与此类似的东西: 在此处输入图像描述

在不绘制图形的情况下如何知道该函数是否具有非凸损失函数?

1个回答

我们通过使用微积分知道“如果一个函数是非凸损失函数而不绘制图形”。引用维基百科的凸函数文章:“如果函数是二次可微的,并且其整个域的二阶导数始终大于或等于零,则该函数是凸函数。 ”如果二阶导数始终大于零,则它是严格凸的。

因此,如果我们可以证明我们选择的成本函数的二阶导数始终为正,则该函数是凸的。

我们关心凸性是因为凸函数的最小值也是全局最小值。如果函数是严格凸函数,那么它最多有一个全局最小值,这也很方便;我们证明了特定解决方案的全局最优性。请参阅此处的线程,了解为什么我们通常希望目标函数是凸函数,以及梯度下降是否可以应用于非凸函数,以获取有关此问题的更多信息