损失是分段函数时的学习参数

数据挖掘 机器学习 梯度下降
2022-02-21 21:47:55

我有一个网络可以生成一个数字我事先知道:损失函数的一个性质是,当时,损失具有相同的值时,损失有另一个值等等。损失函数类似于分段函数。TT[a1,a2]L1T[a2,a3]L2

这个问题的一个具体的、简化的例子可能类似于对象分类我有一组对象,以及它们与我想将这些对象分类距离是不失一般性假设我想为这些对象学习一个阈值,如果距离足够近,那么它们属于类别否则,它们不是该类别的成员。例如,如果,则对象(距离C[d1,d2,,dK]d1d2dKTCd3Td41,23d1,d2,d3) 属于C

我可以使用哪些学习技术来学习网络的权重?任何帮助将不胜感激。

接下来,我将把上述网络与其他可微分学习组件结合起来,所以理想情况下,如果该方法与梯度下降兼容会很好。

1个回答

我会考虑三次样条来近似你的分段函数。
https://en.wikiversity.org/wiki/Cubic_Spline_Interpolation#:~:text=Cubic%20spline%20interpolation%20is%20a,Lagrange%20polynomial%20and%20Newton%20polynomial
您可以通过在节点处的一阶和二阶导数上添加连续性约束来规范您的样条曲线,因此该函数将是平滑的,并且可以很好地近似您的分段损失。