在 AR(2) 过程的省略变量的线性回归下,样本方差的期望值是多少?

机器算法验证 回归 参考 自回归的
2022-03-19 18:17:52

最近,我对与遗漏变量有关的现象很感兴趣。例如,可以证明在包含一个变量的情况下样本方差的期望值x1但遗漏了一个变量x2E(s2|x1,x2)=σ2+σ2n1RSSx1,β2x2在哪里β2是真实系数x2RSSx1,β2x2是运行回归时的残差平方和x1作为预测器和β2x2作为结果。现在,我有兴趣在我们有一个更好的表达方式时AR(2)过程。

让一个AR(2)-过程由xt=axt1+bxt2+ϵt(与ϵi独立且正常且有标准偏差σ)。

如果我们运行回归(x2,,xT)作为响应向量和(x1,,xT1)作为预测变量,关于残差平方和可以说什么?也就是说,如果我们(错误地)认为该过程是AR(1)-过程,关于预期的残差平方和可以说什么?

由于我在统计学方面没有受过教育(我唯一的学术背景是数学),我会对参考资料(文章和书籍)以及答案感兴趣,即使它们只是与这个问题无关。

1个回答

关于与时间序列模型不同方面相关的主题的不错的介绍性书籍可能是Brockwell 和 Davis 等人的时间序列和预测导论。粗略地说,序的自回归过程的特征p偏自相关函数有关。估计AR(p)过程:

Xt=j=1pϕjXtj+εt

一种常见的解决方案是应用 Durbin-Levinson(关于 Levinson 递归数学的维基)方法,其中残差平方和AR(p)

RSSp=Eε2=E(Xtj=1pϕjXtj)2

RSSp1作为:

RSSp=RSSp1(1φpp2),

φpp是偏自相关或最后一个分量

Γp1γp=([γ(ij)]i,j=1p)1[γ(1),γ(2),,γ(p)],

γ(.)是自相关函数。因此,如果您应用错误的顺序自回归,理论上会花费您(1φpp2)),请注意,在实践中,估计误差也会在此处添加。在小样本中,可能会出现较小的模型(AR(1))是比真实模型更好的预测器AR(2)(因为必须估计参数并且它们是未知的!)。这也称为较小模型的简约属性。