什么是概率回归系数大于其 OLS 估计值

机器算法验证 回归 可能性 最小二乘 回归系数
2022-04-13 08:21:05

考虑一个包含 34 对值的样本(x,y)对于回归方程

yi=α+βxi+ϵi.

使用线性回归 (OLS)，我得到了估计β^=2.3.

  • 发生的概率是多少β>β^
  • 或者β>2.3在这种情况下？

编辑

正如@TooTone 在评论中提到的那样，概率β>2.3或者是0或者1, 作为底层β是固定的（但未知）。我的后续问题是这样的：

  • 发生的概率是多少β^>2.3?

编辑 2

  1. 一个简单的线性回归模型yi=α+βxi+εi 设置为查看 x 和 y 之间的关系。估计的β(β^) OLS 是 2.3，2.3 用于下一阶段的计算，比如风险管理。使用的越大，情况就越糟。然后，我在想为什么我使用 2.3，其中原因似乎很明显——因为它来自回归模型。然后，我问自己这个因子大于 2.3 的概率是多少。

  2. 我做了一些阅读，我的感觉是（β^) 大于 2.3 正好是 ½，因为 t 分布t=β^−βSEβ^. （例如http://en.wikipedia.org/wiki/Simple_linear_regression）。这个发现让我有点吃惊——就像扔硬币一样。当我写这篇文章时，我再次查看了 t 分布方程并意识到 t 值以“真实值”为中心 β. 2.3 不是真正的价值β. 这是一个公平的问题，因为没有办法知道“真实”β.

还有一件事要补充。根据t=β^−βSEβ^. 概率(β^>β)=1/2，正如@Macro 指出的那样。

1个回答

OLS（或任何其他）估计器\是一个随机变量。即，它是一个实值函数。它将样本数据作为输入并产生一个实数。这个实数是特定样本的估计值。正如一些评论所显示的，使用相同符号来表示函数及其特定值的习惯可能会让人感到困惑。作为一个随机变量，有一个适当的分布函数，。那么问这样的问题是有效的 β^β^Fβ^(β^)

P(β^>c)=?⇒1−Fβ^(c)=?,c∈R

我说“它是有效的”，我并没有说它会给你一个切实的结果。这是因为这个分布将涉及未知参数，尽管我们做出了估计，但它仍然是未知的。因此，即使您能够将分布指定为属于某个家族（如正态或学生 t 或其他），您将无法获得您正在寻找的上述概率的特定数值，因为某些参数这种分布将是未知的。β

此外，任何特定的估计值，例如 2.3，都只是支持的密度的一个点。我们无法知道它是否是的“真实值” ——这相当于相信我们通过一个样本到达死点并发现了的真实值。因此，即使我们假设估计量的分布是对称的，我们也不知道具体的估计是否是期望值 = 其分布的中位数（正如有人评论的那样）。所以语句是错误的，记住。陈述β^ββP(β^>2.3)=122.3=β^(sample(j))P(β^>β)=12如果我们假设 a)是 \beta 的无偏估计量b)具有对称分布，则这是正确的。β^ββ^

如果我们的样本非常大，并且我们假设/接受/证明我们的估计量是一致的，那么可以对 - 这是一致性的本质，这就是为什么“非正式地”认为一致性比无偏性更重要的估计属性：一致性的理想结果至少可以部分“赋予”单一估计jβ^(sample(j))≈β，如果样本量很大（最终我们会获得越来越多的大样本）。不偏不倚的理想结果需要大量样本和大量估计才能出现。如果我们能够估计许多不同的样本，那么我们将能够获得许多不同的估计值，然后将它们的平均值作为如果我们再次有理由相信是一个无偏估计量。ββ^

的概率问题只能在 Beaysian 框架中提出。在这里，我们将未知参数本身建模为随机变量，以反映我们对它的无知。和试图估计它的函数之间没有区别是有意义的，βββ^P(β>c|sample)=?

其它你可能感兴趣的问题
上一篇Stata中随机效应的内部，之间或整体R平方 下一篇需要多少计数才能将平均值估计到一定精度？