关于自适应控制中成本函数的选择——平方误差与绝对误差

信息处理 控制系统 自适应算法 坡度
2021-12-27 04:25:05

我确实搜索了关于这个问题的问题数据库,虽然有一两个问题很接近,但它们并没有真正解决我的具体问题。

在基于最小化跟踪误差(例如工厂和模型之间)的自适应控制中,设计人员可以自由选择成本函数。通常,成本被选择为平方误差的函数。

但是我在一些实际应用中发现,我可以通过使用绝对误差来实现更稳健的控制器。我知道绝对误差为误差的大小提供了更统一的权重,并且我怀疑平方误差往往会以最初的大误差“缠绕”自适应控制器。但我不确定如何以一般的方式展示这一点。所以我对此有两个问题:

  1. 是否有一个简单的分析可以证明成本函数中绝对误差和平方误差选择之间的稳定性特征?

  2. 关于此事的任何参考资料?

2个回答

这是一个有趣的问题,因为平方误差和绝对误差都是凸函数,因此它们在最小化时都会给出最优解。我的直觉是, ell_2 -norm(误差的平方值之和)比 -norm(误差的绝对值之和)更快地收敛到零。例如,如果错误是如果非常接近并且,则远小于. 类似地,如果,然后. 所以21ϵ=yAxyAx0<|yAx|1ϵ2|ϵ||yAx|>1ϵ2>|ϵ|2 norm对大错误的惩罚更多,对小错误的惩罚更少这也可以通过查看时的两个函数的图表来理解。1ϵR

在此处输入图像描述

当然,导数的连续性是另一个因素。绝对值的导数在技术上至少不存在。

如果您希望总体中同时具有正误差值和负误差值,则应使用平方误差与绝对误差。通过平方误差,只有每个误差值的大小很重要(尽管它是平方的)。如果要恢复总体中的实际误差幅度,只需在最后取平方根即可。该值称为均方根误差 (RMSE)。

相反,如果您要使用绝对误差值,则总体中的正面和负面会相互抵消,从而为您提供错误的指标。