为什么在递归最小二乘 (RLS) 算法的自适应噪声消除中使用最小二乘成本函数,而在信号估计中使用均方误差?
对于遍历源(时间和集合平均值应该相同),我会认为选择是任意的。
从我的笔记中:LMS 最小化和 RLS 最小化 在哪里是所需信号与滤波器输出之间的差。
为什么在递归最小二乘 (RLS) 算法的自适应噪声消除中使用最小二乘成本函数,而在信号估计中使用均方误差?
对于遍历源(时间和集合平均值应该相同),我会认为选择是任意的。
从我的笔记中:LMS 最小化和 RLS 最小化 在哪里是所需信号与滤波器输出之间的差。
您实际上是在问 2 个单独的问题。如果我正确解释了您的帖子,它们是:
答案:
Q1:
您可以为任何应用程序自由选择任何自适应滤波算法(例如自适应噪声消除-ANC)。它不必是RLS。信号估计或您能想到的任何其他应用程序也是如此。
但是,如果您有一个特定的应用程序,并且您对系统或算法在该设置中的执行方式有所了解,您可能希望选择一种自适应算法而不是另一种。(例如,如果您的应用程序是为了更快地收敛而不是在稳定状态下具有低误差,您可以选择算法 X 而不是 Y)
再一次,这个选择不是基于您是最小化均方误差还是平方误差之和。
Q2:
这个问题仍然让我在某些晚上保持清醒。从根本上说,基于最小均方误差的算法是基于找到使最小均方误差最小化的系统参数. 现在,错误的期望值
LMS 和 RLS 都基于最小化这个数量。然而,他们如何做到这一点却完全不同。请记住,期望值是统计运算符 - 它是随机信号的所有实现的平均值。在现实生活中的应用中,我们只能访问该信号的一种实现方式。
示例:假设你有一只股票的价格,每次你得到的只是一个价值(例如 10 英镑) 股票价格从不说,“哦,我有 5% 的机会是 10 英镑,另一方面我可能是 12 英镑,或 14 英镑……等等”。但我离题了。
那么,当我们无法计算真实均值时,我们将如何最小化均方误差?最小均方 (Widrow-Hoff) 说:“你知道吗,我要放弃并最小化. 是的,这是一个 hack,但我的天哪,这是一个 hack!
RLS 使用您提到的事实:由于过程是遍历的,因此您可以获得时间平均值而不是整体。平方和误差等于平方误差的平均值。唯一缺少的是平方和误差中的项。它被丢弃是因为它与另一个抵消了RLS 推导中的术语。所以不用担心。
有趣的是这种差异如何影响 2 个过滤器的性能。(这是一个完全不同的问题,我建议你在这里问它——它可能会引起很多人的兴趣)众所周知,RLS 比 LMS 收敛得更快。但是在跟踪时变参数时,LMS 在某些条件下可以比 RLS 表现得更好。
学习管理系统:
总结一下:RLS 和 LMS 都试图逼近. 他们做事的方式不同——所以他们的行为方式也不同。您可以为任何应用自由选择任何过滤器。
据我所知,您总是参加 MSE,但也许我的同行可以确认/否认这一点。
想想一个简单的例子,你只有两个系数。这两个系数在 xy 平面上,而您的错误在 z 轴上。这意味着您的错误必须是标量。这意味着您正在接受期望中的错误。(平均的)。否则,你怎么能开始采取衍生品,并最小化任何东西?据我所知,你总是对错误抱有期望,或者正如你所说,
另一种思考方式。您实际上是在为每次迭代计算一个误差向量。误差向量是每次采样时你所拥有的和你正在计算的之间的误差。但是你想最小化总误差。这就是期望的来源。
还有另一种思考方式——考虑成本空间——你是在一个梯度中旅行,它会不断地最小化错误。什么错误?总误差。尽你所能,你最终需要一个标量错误数,以某种方式衡量你的总错误。通常的情况是 L-2 范数误差 (LSE),但 L-1 也是可能的。关键是您朝着最小化标量数的方向行驶,该标量数是您决定测量总误差的某种方式。