线性回归 - 方差误差项

机器算法验证 回归 方差
2022-04-05 04:36:11

我们有线性回归的模型

y=Xβ+ε.

为什么是Var(ε)=σ2

鉴于我们不知道误差项的分布,我们如何对方差做出假设?ε

2个回答

我们不应该不加批判地做出这个假设。

误差项εi以特定为条件X价值Xi,像任何随机变量一样,有一个方差,通常写成σi2. 这里没有假设,它只是该方差的符号。

然而,经典线性回归的假设之一是误差项以不同的条件为条件X值都具有相同的方差,也就是说,对于任何XiXj,σi2=σj2. 对于应用于特定人群的特定模型,这种假设(称为同方差性)可能会也可能不会满足。在从普通最小二乘 (OLS) 回归中得出结论之前,良好的做法是应用适当的测试(或至少检查残差)来评估是否满足此假设。在满足假设的情况下,我们有理由使用通用符号,通常σ2, 为误差项的共同方差。

在不满足假设的情况下,即存在异方差性的情况下,OLS 回归容易给出回归系数方差的有偏估计。在这种情况下,加权最小二乘法用于校正异方差。如果使用得当,这具有以恢复同方差性的方式转换模型的效果。

在普通的线性回归中,我们确实知道误差项的分布,直到单个未知参数也就是说,我们的模型是误差是从分布 εσ2

εiN(0,σ2).

然后我们估计以及未知的系数。σ2β