机器算法验证 - 如何推导线性回归系数的标准误 - 吾爱随笔录

机器算法验证标准错误推理

2022-01-24 22:10:28

对于这个单变量线性回归模型

y_{i} = β_{0} + β_{1} x_{i} + ϵ_{i}

$y_i = \beta_0 + \beta_1x_i+\epsilon_i$ 给定数据集

D = {(x_{1}, y_{1}), . . ., (x_{n}, y_{n})}

$D=\{(x_1,y_1),...,(x_n,y_n)\}$ ，系数估计为

{\hat{β}}_{1} = \frac{\sum_{i} x_{i} y_{i} - n \bar{x} \bar{y}}{n {\bar{x}}^{2} - \sum_{i} x_{i}^{2}}

$\hat\beta_1=\frac{\sum_ix_iy_i-n\bar x\bar y}{n\bar x^2-\sum_ix_i^2}$

{\hat{β}}_{0} = \bar{y} - {\hat{β}}_{1} \bar{x}

$\hat\beta_0=\bar y - \hat\beta_1\bar x$ 这是我的问题，根据这本书和维基百科，标准错误

{\hat{β}}_{1}

$\hat\beta_1$ 是

s_{{\hat{β}}_{1}} = \sqrt{\frac{\sum_{i} {\hat{ϵ}}_{i}^{2}}{(n - 2) \sum_{i} (x_{i} - \bar{x})^{2}}}

$s_{\hat\beta_1}=\sqrt{\frac{\sum_i\hat\epsilon_i^2}{(n-2)\sum_i(x_i-\bar x)^2}}$ 如何以及为什么？

2个回答

上面的第三条评论：我已经明白它是怎么来的。但还有一个问题：在我的帖子中，标准误差有（n-2），根据你的回答，它没有，为什么？

在我的帖子中，发现

\hat{se} (\hat{b}) = \sqrt{\frac{n {\hat{σ}}^{2}}{n \sum x_{i}^{2} - (\sum x_{i})^{2}}} .

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{n \hat{\sigma}^2}{n\sum x_i^2 - (\sum x_i)^2}}.$ 分母可以写成

n \sum_{i} (x_{i} - \bar{x})^{2}

$n \sum_i (x_i - \bar{x})^2$ 因此，

\hat{se} (\hat{b}) = \sqrt{\frac{{\hat{σ}}^{2}}{\sum_{i} (x_{i} - \bar{x})^{2}}}

$\widehat{\text{se}}(\hat{b}) = \sqrt{\frac{\hat{\sigma}^2}{\sum_i (x_i - \bar{x})^2}}$

和

{\hat{σ}}^{2} = \frac{1}{n - 2} \sum_{i} {\hat{ϵ}}_{i}^{2}

$\hat{\sigma}^2 = \frac{1}{n-2} \sum_i \hat{\epsilon}_i^2$ 即方差分析表中的均方误差 (MSE)，我们最终得到您的表达式

\hat{se} (\hat{b})

$\widehat{\text{se}}(\hat{b})$ . 这

n - 2

$n-2$ 项说明在估计截距和斜率时损失了 2 个自由度。

另一种思考 n-2 df 的方式是因为我们使用 2 个均值来估计斜率系数（Y 和 X 的均值）

来自 Wikipedia 的 df ：“...一般来说，参数估计的自由度等于进入估计的独立分数的数量减去在参数本身估计中用作中间步骤的参数数量。”

其它你可能感兴趣的问题