多元回归分析中截距的标准误差到底是多少?

机器算法验证 多重回归 标准错误 截距
2022-03-13 05:58:37

我知道在多元回归分析中,对于每个自变量,您将绘制因变量与自变量的关系图,并制作一条最佳拟合线并计算标准误差。

但是,它如何用于拦截?有人可以给我一个简洁但清晰的解释吗?

2个回答

您对多元回归如何工作的描述是不准确的。您的版本意味着依次为每个变量拟合一个简单的线性回归(并且可能使用这些斜率中的每一个作为多元回归模型中该变量的系数)。这个概念给您留下了一个问题,即如何处理每个简单回归的截距很可能不同的事实。

但是,这种方法不是多元回归的工作方式/估计参数的方式。相反,所有系数(包括截距)都是同时拟合的。使用普通最小二乘法 (OLS),我们找到了最小化因变量平方误差之和的系数估计值。也就是说,我们最小化了模型在 X 中给定位置的预测 Y 值与那里观察到的 Y 值之间的垂直距离。为了找到 beta 估计的向量,我们使用以下矩阵方程: \boldsymbol{\hat\beta} = \ bf我们以这种方式找到的系数不会

β^=(XX)1XY
必须与单独发现的那些 beta 相同。为了进一步理解这一点,它可能会帮助您在这里阅读我的答案:在多元回归中“控制”和“忽略”其他变量之间有区别吗?

无论如何,多元回归模型的标准误差计算如下: 其中是残差的方差,是指提取矩阵主对角线上的元素。由于截距()是我们的回归参数中的第一个,它是第一行第一列中元素的平方根。

SEβ^=diag{s2(XX)1}
s2diagβ^0

一旦我们有了拟合模型,截距的标准误差与任何其他标准误差的含义相同:它是我们对截距采样分布的标准差的估计。为了更全面地描述回归上下文中的标准误差,在这里阅读我的答案可能会有所帮助: 如何解释线性回归中的系数标准误差?

正如@IrishStat 所指出 的,截距的标准误差的一个常见用途是测试观察到的截距是否有可能在假设其真实值是某个预先指定的数字(例如0

截距的标准误差允许您测试估计的截距是否与指定(假设)值具有统计显着性......通常为 0.0 。如果您针对 0.0 进行测试并且未能拒绝,那么您可以在不存在截距项的情况下重新估计您的模型。