优于贝叶斯方法的频率论方法的具体示例

机器算法验证 贝叶斯 常客
2022-03-18 04:15:52

你能帮我理解贝叶斯与常客辩论中常客的观点吗?我已经阅读了很多,我发现的所有资源要么充满了复杂的方程,要么是从贝叶斯的角度编写的,或者两者兼而有之。我没有发现一个单一的样本问题,频率论方法会比贝叶斯方法产生更多有用的输出。我觉得我只了解这场辩论的一方面,我也想了解另一方面。我没有任何统计学背景,所以我很欣赏频率论方法比贝叶斯方法产生更多价值的简单例子。

一个很好的例子是一个投注场景,其中常客和贝叶斯就某些未来结果相互打赌,常客有正的期望值。

1个回答

一个很好的例子是一个投注场景,其中常客和贝叶斯就某些未来结果相互打赌,常客有正的期望值。

我不会给你这个例子,因为这样的例子有利于贝叶斯方法,除非贝叶斯选择了一个糟糕的先验,这是一个不值得写的逃避例子。

最常见的方法并非旨在获得投注场景中的最高预期值(幸运的是,统计和概率领域远不止于此)。相反,频率学技术旨在保证某些理想的频率特性,特别是覆盖范围。这些属性对于科学研究和调查中的参数估计和推断很重要。

我鼓励您在此处查看此链接,指向Larry Wasserman 博士的博客文章。在其中,他更深入地讨论了频率保证(参见他给出的示例)。

假设我们有一些数据Y我们认为它是根据一些条件分布来分布的Yf(Y|θ)(如果你喜欢,你可以想象Y是正态分布的并且θ是均值和/或方差)。我们不知道价值θ,所以我们必须估计它。我们可以使用常客或贝叶斯方法来做到这一点。

在频率论方法中,我们将获得一个点估计θ^以及该估计的置信区间。假设θ存在且模型有效且表现良好,常客(1α)置信区间保证包含θ (1α)%的时间,不管什么θ实际上是θ可以是0,也可以是1,000,000,也可以是-53.2,没关系,以上说法成立。

但是,上述情况不适用于贝叶斯置信区间,也称为可信区间。这是因为,在贝叶斯设置中,我们必须指定先验θπ(θ)并从后面模拟,π(θ|Y)f(Y|θ)π(θ). 我们可以形成(1α)使用结果样本的可信区间百分比,但这些区间包含的概率θ 取决于可能性有多大θ在我们之前。

在投注场景中,我们可能认为某些值不太可能是θ然后是其他人,我们可以分配一个先验来反映这些信念。如果我们的信念是准确的,那么包含的概率θ在可信区间较高。这就是为什么在投注场景中使用贝叶斯技术的聪明人击败了常客。

但是考虑一个不同的场景,比如你正在测试教育对工资的影响的研究,称之为β,在回归模型中。许多研究人员更喜欢置信区间β具有覆盖的频率属性,而不是反映自己对教育对工资的影响的信念程度。

从务实的角度来看,还应该注意的是,在我之前的示例中,随着样本量接近无穷大,频率论者θ^和贝叶斯后验π(θ|Y)收敛到θ. 因此,随着您获得越来越多的数据,贝叶斯方法和频率论方法之间的差异变得可以忽略不计。由于贝叶斯估计通常(并非总是)在计算和数学上比频率估计更严格,因此从业者通常在拥有“大”数据集时选择频率技术。即使主要目标是预测而不是参数估计/推理也是如此。