1. 最优性标准存在差异

卡尔曼滤波器是一种线性估计器。它是一个线性最优估计器——即从间接、不准确和不确定的观察中推断出感兴趣的模型参数。

但在什么意义上是最优的？如果所有噪声都是高斯噪声，则卡尔曼滤波器将估计参数的均方误差最小化。这意味着，当潜在噪声不是高斯噪声时，承诺不再成立。在非线性动力学的情况下，众所周知，状态估计问题变得困难。在这种情况下，没有任何过滤方案明显优于所有其他策略。在这种情况下，如果非线性估计器可以使用附加信息更好地对系统进行建模，则它们可能会更好。[见参考文献 1-2]

多项式回归是线性回归的一种形式，其中自变量 x 和因变量 y 之间的关系被建模为 n 阶多项式。

请注意，虽然多项式回归将非线性模型拟合到数据，但从估计的角度来看，这些模型都是线性的，因为回归函数在未知参数方面是线性的。如果我们将视为不同的变量，则多项式回归也可以视为多元线性回归。$a_0, a_1, a_2$$x, x^2$

多项式回归模型通常使用最小二乘法进行拟合。在最小二乘法中，我们也最小化了均方误差。在高斯-马尔可夫定理的条件下，最小二乘法最小化系数的无偏估计量的方差。该定理指出，在以下条件下，普通最小二乘法(OLS) 或线性最小二乘法是最佳线性无基础估计量 (BLUE)：

一种。当错误的期望为零时，即 b。具有相等的方差，即 c。并且错误是不相关的，即$E(e_i) = 0$
$Variance(e_i) = \sigma^2 < \infty$
$cov(e_i,e_j) = 0$

注意：在这里，错误不必是高斯也不必是 IID。它只需要不相关。

2.卡尔曼滤波器是从最小二乘估计器的演变

1970 年，HW Sorenson 发表了题为“最小二乘估计：从高斯到卡尔曼”的 IEEE Spectrum 文章。[参见参考文献 3。像卡尔曼这样的估计者。

Gauss 的工作不仅介绍了最小二乘框架，而且实际上是最早使用概率视图的工作之一。虽然最小二乘法以各种回归方法的形式发展，但还有另一项关键工作将滤波器理论用作估计器。

用于平稳时间序列估计的滤波理论由 Norbert Wiener 在 1940 年代（二战期间）构建并于 1949 年发表，现在称为 Wiener 滤波器。这项工作早得多，但直到二战后才归类）。Wiener 工作的离散时间等价物由 Kolmogorov 独立推导出并于 1941 年发表。因此该理论通常被称为Wiener-Kolmogorov 滤波理论。

传统上，滤波器是为所需的频率响应而设计的。然而，在维纳滤波器的情况下，与对所需无噪声信号的估计相比，它减少了信号中存在的噪声量。Weiner 滤波器实际上是一个估计器。然而，在一篇重要的论文中，Levinson (1947) [参见 Ref 6] 表明，在离散时间中，整个理论可以简化为最小二乘，因此在数学上非常简单。见参考文献 4

因此，我们可以看到 Weiner 的工作为估计问题提供了一种新方法；从使用最小二乘法到另一种成熟的滤波器理论的演变。然而，关键的限制是维纳滤波器假设输入是固定的。我们可以说卡尔曼滤波器是进化的下一步，它放弃了固定标准。在卡尔曼滤波器中，状态空间模型可以动态地适应处理信号或系统的非平稳性质。

卡尔曼滤波器基于离散时域中的线性动态系统。因此，与 Wiener 不同，它能够处理潜在的时变信号。由于Sorenson 的论文在高斯最小二乘法和卡尔曼滤波器之间平行绘制为

...因此，人们看到高斯和卡尔曼的基本假设是相同的，只是后来允许状态从一个时间改变到下一个。这种差异对高斯问题进行了重大修改，但可以在最小二乘框架内处理。

3.就预测的因果方向而言，它们是相同的；除了执行效率

有时人们认为卡尔曼滤波器用于基于过去数据预测未来事件，其中回归或最小二乘法在端到端内进行平滑处理。这不是真的。读者应该注意，这两个估算器（以及您能想到的几乎所有估算器）都可以完成任何一项工作。您可以应用卡尔曼滤波器来应用卡尔曼平滑。

类似地，基于回归的模型也可以用于预测。给定训练向量，您应用并发现模型参数现在对于另一个样本，我们可以根据模型$X_t$$Y_t$$α_0 ... a_K$$X_k$$Y_K$

因此，这两种方法都可以以平滑或拟合（非因果）的形式使用，也可以用于未来预测（因果案例）。但是，关键的区别在于重要的实现。在多项式回归的情况下 - 整个过程需要重复，因此，虽然可以实现因果估计，但计算成本可能很高。[虽然，我确信现在必须进行一些研究以使事情变得迭代]。

另一方面，卡尔曼滤波器本质上是递归的。因此，仅使用过去的数据来预测未来将是非常有效的。

这是比较几种方法的另一个很好的演示文稿：参考 5

参考

1. 卡尔曼滤波器最佳介绍 - Dan Simon Kalman Filtering Embedded Systems Programming 2001 年 6 月，第 72 页

2. 演讲：Lindsay Kleeman 理解和应用卡尔曼滤波

3. HW Sorenson 最小二乘估计：从高斯到卡尔曼IEEE 频谱，1970 年 7 月。第 63-68 页。

4. 讲义 MIT 课件 - 从数据和模型推断 (12.864) - 维纳和卡尔曼滤波器

5. 演示从线性回归到卡尔曼滤波器以及超越的Simo Särkkä 赫尔辛基理工大学

6. N. 莱文森 (1947)。“滤波器设计和预测中的维纳 RMS 误差标准。” J.数学。物理学，第 25 卷，第 261-278 页。

差异非常大，因为它们是两个完全不同的模型，可用于解决相同的问题。让我们快速回顾一下。

多项式回归是一种函数逼近的方法。形式的数据集，并希望确定函数关系，这通常通过估计概率密度来表示。是高斯的假设下，我们得到最小二乘解作为最大似然估计量。$\lbrace x_i, z_i \rbrace$$p(z|x)$$p$

卡尔曼滤波是线性动力系统中一种特殊的推理方式。LDS 是状态空间模型的一种特殊情况，我们假设我们观察到的数据是通过对高斯随机变量上的马尔可夫链的后续步骤应用线性变换生成的。因此，我们实际上要做的是对建模，它是时间序列的概率。然后卡尔曼滤波的过程是预测时间序列的下一个值，例如最大化。但是相同的模型可用于对平滑、插值等进行推理。$p(x_{1:T})$$p(x_{t+1}|x_{1:t})$

因此：多项式回归进行函数逼近，卡尔曼滤波进行时间序列预测。两个完全不同的东西，但时间序列预测是函数逼近的一个特例。此外，两种模型都基于他们观察到的数据做出了完全不同的假设。

不是卡尔曼滤波器方面的专家，但是我相信传统的卡尔曼滤波器假定可观察数据和您希望推断的数据之间存在线性关系，而不是像扩展卡尔曼滤波器这样可以假定非线性关系的更复杂的滤波器。

考虑到这一点，我相信对于传统的卡尔曼滤波器，在线线性回归在性能上与卡尔曼相似。然而，也可以使用多项式回归，假设传统卡尔曼可能无法捕捉到的非线性关系。

卡尔曼滤波给出了下一个状态的多个预测，而回归的外推则不会。

卡尔曼滤波器还专注于包括噪声因子（基于高斯分布）。