OLS方差的推导

机器算法验证 回归 自习 方差 最小二乘
2022-04-07 07:15:47

我偶然发现了一个相当简单的 OLS 回归结果,它是

Var[β^]=σ2(XTX)1
在哪里σ是误差项的方差uX是回归矩阵。

我最初只是接受了教科书中的证明,但现在我认为它要么使用了草率的符号,要么我遗漏了一些东西。β^是估计和β是真正的参数(假设无偏)。

它指出

Var[β^]=E[(β^β)(β^β)T]=E[(XTX)1XTuuTX(XTX)1]=(XTX)1XTE[uuT]X(XTX)1

X只是假设是外生的而不是非随机的。在这个假设下,我认为X不能被拖到期望运算符之外。

暂时觉得应该Var[β^|X]有意义。是这样吗?我的网络研究无法澄清这一点。我只发现了与上述类似的推导,没有进一步解释。

1个回答

您是对的,条件方差通常与无条件方差不同。通过方差分解引理,它说,对于 rvsXY

Var(X)=E[Var(X|Y)]+Var[E(X|Y)]
翻译成我们的问题,
Var(β^)=E[Var(β^|X)]+Var[E(β^|X)]
现在,使用 OLS 是有条件无偏的(在适当的假设下,比如这里假设的外生性),我们有
E(β^|X)=β
因此
Var[E(β^|X)]=0,
作为β是一个常数,所以
Var(β^)=E[Var(β^|X)]
或者
Var(β^)=E[σ2(XX)1]=σ2E[(XX)1].

其它你可能感兴趣的问题