机器算法验证 - 简单线性回归中截距和斜率的估计值是否独立？ - 吾爱随笔录

机器算法验证回归

2022-03-07 13:04:11

考虑一个线性模型

$y_i= \alpha + \beta x_i + \epsilon_i$

并使用普通最小二乘法估计斜率和截距和这个对数理统计的参考和是独立的（在他们的定理证明中）。 $\hat{\alpha}$ $\hat{\beta}$ $\hat{\alpha}$ $\hat{\beta}$

我不确定我明白为什么。自从

$\hat{\alpha}=\bar{y}-\hat{\beta} \bar{x}$

这不是说和是相关的吗？我可能在这里遗漏了一些非常明显的东西。 $\hat{\alpha}$ $\hat{\beta}$

1个回答

转到以下子页面上的同一站点：

您会更清楚地看到，他们指定了简单的线性回归模型，回归量以其样本均值为中心。这就解释了为什么他们后来说和是独立的。 $\hat \alpha$ $\hat \beta$

对于使用非中心回归量估计系数的情况，它们的协方差为

Cov (\hat{α}, \hat{β}) = - σ^{2} (\bar{x} / S_{x x}), S_{x x} = \sum (x_{i}^{2} - {\bar{x}}^{2})

$\text{Cov}(\hat \alpha,\hat \beta) = -\sigma^2(\bar x/S_{xx}), \;\;S_{xx} = \sum (x_i^2-\bar x^2)$

所以你看，如果我们使用以为中心的回归量，称之为，上面的协方差表达式将使用中心回归量的样本均值，这将是零，所以它也将为零，并且系数估计器将是独立的。 $\bar x$ $\tilde x$ $\tilde {\bar x}$

这篇文章，包含更多关于简单线性回归 OLS 代数的内容。

其它你可能感兴趣的问题