机器算法验证 - 回归模型中系数的标准误差的含义？ - 吾爱随笔录

回归模型中系数的标准误差的含义？

机器算法验证 r 回归最小二乘标准错误

2022-03-13 03:58:02

回想一下简单线性回归模型

y_{i} = β_{0} + β_{1} x_{i} + ε_{i} .

$y_i = \beta_0 + \beta_1 x_i + \varepsilon_i.$

我正在阅读系数和的标准误差。作为一个实验，我使用和生成了一些线性数据，并添加了一些具有单位方差的高斯噪声。因此，当我拟合数据函数并使用该函数检查模型时，我得到以下输出： $\beta_0$ $\beta_1$ $\beta_0 = 1$ $\beta_1 = 2$ lmsummary

\begin{aligned} {\hat{β}}_{0} & = 1.21054 with Std. Error = 0.11508, \\ {\hat{β}}_{1} & = 1.87723 with Std. Error = 0.09844. \end{aligned}

$\begin{align} \hat \beta_0 & = 1.21054 \quad \text{with Std. Error} = 0.11508, \\ \hat \beta_1 & = 1.87723 \quad \text{with Std. Error} = 0.09844. \end{align}$

那么如何解释标准误差值呢？例如，以，告诉我什么？ $\hat \beta_0$ $0.11508$

显然，如果我第二次运行模拟，这次添加具有更高方差的高斯噪声，标准误差会随着噪声中的额外方差显示为系数标准误差的增加而增加。但是，如果我们孤立地考虑第一个模拟，那么这个值意味着什么？ $0.11508$

4个回答

标准误差是或的估计量的的抽样变异性估计值的平方根。 $\hat\beta_j$ $\beta_j$ $\sqrt{\widehat{Var}(\hat\beta_j)}$

由于这是一个句子中的很多东西，一步一步：

“平方根”：应该是不言自明的，将方差转化为标准差（这就是我们需要的，例如 t 统计量和置信区间）。
“作为 \beta_j 的估计量：我们使用 LS 估计量来估计未知参数。 $\hat\beta_j$ $\beta_j$ $\beta_j$
为此，我们使用了来自基础人群的样本。如果我们再抽取一个样本（或者明天再抽取一个，等等），我们将得到另一个估计值。这是抽样变异的来源。来总结这种可变性。例如，可以在此处找到该方差的表达式。 $\hat\beta_j$ $Var(\hat\beta_j)$
“采样变异性的估计取决于未知量（如您生成的高斯噪声的方差），因此必须估计，如公式。例如，这里给出了这个估计量的公式，或者，更介绍性的是，这里给出。 $Var(\hat\beta_j)$ $\widehat{Var}(\hat\beta_j)$

的采样分布的（估计的）标准偏差。 $\hat{\beta}_0$

如果您要使用新的观察结果多次复制该工作，您将获得值的分布。有时它会高于你这次观察到的，有时会更低。

我们在参数推断中使用标准误差。松散的，如果参数上的 p 值小于，对应于高于或低于标准误的点估计，那么我们可以说总体参数不为零，因此该变量对结果。 $0.05$ $2$ $0$

（关于 p 值有各种各样的警告，讨论它们确实需要一个单独的问题（或统计学硕士学位）。）

如果

\begin{aligned} {\hat{β}}_{0} & = 1.21054 with Std. Error = 0.11508, \\ {\hat{β}}_{1} & = 1.87723 with Std. Error = 0.09844. \end{aligned}

$\begin{align} \hat \beta_0 & = 1.21054 \quad \text{with Std. Error} = 0.11508, \\ \hat \beta_1 & = 1.87723 \quad \text{with Std. Error} = 0.09844. \end{align}$

这意味着系数估计值的范围是

{\hat{β}}_{0} = 1.21054 \pm 0.11508

$\hat \beta_0 = 1.21054 \pm 0.11508$

和

{\hat{β}}_{1} = 1.87723 \pm 0.09844

$\hat \beta_1 = 1.87723 \pm 0.09844$

换句话说，您可以确信 $\beta_0$ 可以取值之间 $1.09546$ 和 $1.32562$ .

至于你重复的问题

但是对于孤立的单个样本：当系数为 1.21054 且标准误差为 0.11508 时，它告诉我什么

它不相关，因为 $\beta$ s （因此 $\sigma(\beta)$ s) 是根据整个样本集计算的，而不是根据一个特定的观察值计算的。一种 $\beta$ 涉及整个 $y$ 样本集，其中整个样本集被输入（其中一个）相应的 $x$ 向量。

我想你的意思是，什么是 $\hat \beta_0 = 1.21054 \pm 0.11508$ 输出的平均值 $\hat{y}$ 如果是新样本，我的拟合模型 $x_i=0.2$ 被观察到。嗯，既然 $y = \beta_0 x + \beta_0 x + \epsilon$ ，那么给定新输入的预测输出是

{\hat{y}}_{i} = (1.21054 \pm 0.11508) \times 0.2 + (β_{1} \pm σ (β_{1})) \times 0.2 + ϵ

$\hat{y}_i = (1.21054 \pm 0.11508) \times 0.2 + (\beta_1 \pm \sigma(\beta_1))\times 0.2 + \epsilon$

您在这里创建的是一个模型，它试图反映现实。但是当然，除非我们特别幸运，否则模型永远不会完美地反映现实。标准差反映了模型对自身的信心。

在您的问题中，您说您使用 $\beta_0 = 1$ 和 $\beta_1=2$ . 这些数字是您的模型试图反映的现实。现在假设你没有告诉我们这些值，只是你的模型。关于您的意见，我们能说些什么？

该模型告诉我们最可能的值是 $\beta_0 = 1.21042$ 和 $\beta_1=1.87223$ . 但是，您输入的实际值（现实）可能是您吗？ $1.2$ 和 $1.9$ ? 好吧，因此我们必须查看标准偏差。

使用给定的标准偏差，模型告诉你它是 $68 \%$ 确定真正的价值 $\beta_0$ 在范围内 $1.09546 - 1.32562$ （减 1 sd 和加 1 sd）。它是 $95 \%$ 确保真实值在范围内 $0.98038 - 1.4407$ （距离 2 sd）。为了 $\beta_1$ ，我们可以做类似的计算。这意味着数字 $1.2$ 和 $1.9$ 是非常合理的猜测，但是 $1$ 和 $2$ 也不会太古怪。

现在在现实中，我们通常无法获得真正的价值观 $\beta_0$ 和 $\beta_1$ . 我们可以进行测量，并制作我们拥有的最佳模型。或者有时，理论家会提出一个必须在现实中检验的理论，以检查模型是对还是错。

作为一名实验物理学家，您将进行一些实验，并可能得到与您相同的值。您将制作一个模型，并可以发布此模型以展示预测的理论 $\beta_0 = 0$ 和 $\beta_1=5$ 绝对是错误的（如果你能证明你的实验设置是正确的）。你得到的价值观 $1.21$ 和 $1.87$ 基本上是您对真实值的最佳猜测。但是一个预测的理论 $\beta_0=1$ 和 $\beta_1=2$ 可能是正确的。

直到你想出一个更敏感的实验。假设你做同样的事情，并得到一个模型，它显示：

\begin{aligned} {\hat{β}}_{0} & = 1.19554 with Std. Error = 0.01279, \\ {\hat{β}}_{1} & = 1.88341 with Std. Error = 0.02369. \end{aligned}

$\begin{align} \hat \beta_0 & = 1.19554 \quad \text{with Std. Error} = 0.01279, \\ \hat \beta_1 & = 1.88341 \quad \text{with Std. Error} = 0.02369. \end{align}$

这些值与您之前的结果非常吻合（表明您的第一个实验中可能没有系统性错误）。但它们的标准差要窄得多，现在也用 $\beta_0=1$ 和 $\beta_1=2$ 也是错误的。但人们的猜测 $1.2$ 和 $1.9$ 仍在持有。

其它你可能感兴趣的问题

上一篇解释数据可视化下一篇与统计学习导论类似的书籍