有不同类型的成本函数,如交叉熵、绝对误差、均方误差。
我们什么时候可以期望成本函数是非凸的?这是否取决于我们选择的成本函数类型?或者这是否取决于我们选择的模型,就像我们有高阶多项式模型一样?
有不同类型的成本函数,如交叉熵、绝对误差、均方误差。
我们什么时候可以期望成本函数是非凸的?这是否取决于我们选择的成本函数类型?或者这是否取决于我们选择的模型,就像我们有高阶多项式模型一样?
如果其二阶导数是半正定的,则成本函数是凸的(即 )。
但是这个定义取决于你对它求导的函数。当我们谈论神经网络时,这种凸性会发生变化,因为在这种情况下,我们的导数是相对于权重进行的。