简单线性回归中的估计独立性

机器算法验证 回归 独立
2022-03-13 16:54:29

我们有一个简单的线性模型和通常的假设,的最小二乘估计量和误差项的方差。为了证明其中,我们必须证明是独立的。Yi=β0+β1xi+εii{1,,n}β1^σ^2β1

β1^σ^/nSxTn2
Sx=1ni(xix¯)2β1^σ^

我们应该怎么做?

1个回答

这无异于表明估计向量β^独立于残差向量e我相信您熟悉模型的矩阵表示法,它使证明非常简短。

回想一下,OLS 估计量由(XTX)1XTY和向量给出残差由(IH)Y,其中H是由X(XTX)1XT假设Y是多元正态的,这是构建有限样本检验和置信区间所需的假设,我们想要做的是利用多元正态变量的线性组合也是多元的事实普通的。因此,我们将这两个重写如下

[β^e]=[(XTX)1XTIH]Y

现在我们需要记住,如果XNp(μ,Σ),那么AXNp(Aμ,AΣAT)(分布在仿射变换下是封闭的)。我们主要对新的协方差矩阵感兴趣,因为它是对角线将表明变量是独立的,因此我们关注这一点。很容易证明——我把细节留给你——协方差矩阵的形式是

[σ2(XTX)100σ2(IH)]

因此我们可以得出结论,随机变量是独立的。由于独立于,它也独立于均方误差,正如我们想要展示的那样。β^eeTenk

请注意,通常缺乏相关性并不意味着独立,这是多元正态分布的一个特殊属性,无疑也是统计学家如此喜爱它的原因之一。

希望这可以帮助。