是什么导致成本函数的形状(凸或非凸)?

数据挖掘 机器学习 回归
2021-09-27 16:59:21

有不同类型的成本函数,如交叉熵、绝对误差、均方误差。

我们什么时候可以期望成本函数是非凸的?这是否取决于我们选择的成本函数类型?或者这是否取决于我们选择的模型,就像我们有高阶多项式模型一样?

2个回答

如果其二阶导数是半正定的,则​​成本函数是凸的(即 0 )。

但是这个定义取决于你对它求导的函数。当我们谈论神经网络时,这种凸性会发生变化,因为在这种情况下,我们的导数是相对于权重进行的。

参考:为什么交叉熵是凸的,但在神经网络中不一定为什么 RMSE 是凸的但在神经网络中不一定

F(X) 是凸的 F(一个)<F(X)<F(b) 对于每个 一个<X<b. 总体而言,具有正二阶导数的函数是凸函数。

MSE 目标的形式为

小号=(是的re-𝑦pred)2

二阶导数为正。所以,MSE 是凸的。您可以按照此过程执行其余功能。

这里也是这个问题的另一个答案。