局部回归和平滑移动平均之间的差异

机器算法验证 回归 数据可视化 本地统计
2022-03-03 04:50:41

通常,局部回归(黄土/低地)用于创建平滑图。

假设这些点沿 X 轴是等距的,那么与具有适当窗口大小的简单移动平均线(显然要快得多)相比,使用局部回归有什么优势?

2个回答

一个简单的平滑平均可以解释为具有矩形核的局部线性回归。矩形内核为落在其内核支持范围内的每个点(读取窗口)分配相等的权重(读取重要性)。如果您认为这个假设充分地概括了您的建模假设,那么您没有理由不选择一个简单的移动平均线进行平滑处理。如果您认为这个假设有点过于简单化......请继续阅读。

假设我们看数据(yi,ti)但实际上发生的事情是yi=ytrue(ti)+ϵi在哪里ytrue有一些奇怪但平滑的参数形式,并且ϵN(0,σϵ2). 通过平滑,我们尝试估计ytrue.

我们可以继续并在所有数据中拟合模型;就像是: y=β0+β1t+ϵ(或更高次的多项式),但我们怀疑这太严格了。我们有一个隐含的理解,即数据接近一个时间点t与价值更相关ytrue(t)比数据更远t. 所以我们决定在周围建一个窗口t, 说[tb,t+b]在哪里b是带宽。现在,如果假设是所有点在[tb,t+b]估计同样重要ytrue(t)那么所有点的权重相同的矩形内核对我们来说是完美的。但也许我们认为“ ......在窗口内一些中心点更重要”并且我们尝试另一个内核)(例如三角形或Epanechnikov),它赋予中心点更高的重要性。或者实际上,我们并不确定开始时的窗口假设,因此我们适合尝试具有无限支持的内核(例如高斯)。(b总是使用交叉验证来估计)。局部线性回归提供了测试所有这些假设并将其实际纳入我们最终估计的能力ytrue.

最后让我指出,“lowess/loess”正在利用局部加权线性回归来平滑数据,但它们只是使用的一种局部多项式方法(例如,Nadaraya-Watson 估计器,这是此类最早的估计器之一)在半参数回归中。其他模型(例如粗糙度惩罚方法,如样条平滑)也可用;见 AC 戴维森统计模型,章节。10.7 的简洁介绍。

移动平均线是当您使用零度多项式时所得到的 [which] 将 LOESS 变成加权移动平均线更高的学位会产生不同的答案。