贝叶斯和常客假设检验的结果相同吗?需要参考

机器算法验证 假设检验 贝叶斯 参考 常客
2022-04-08 10:07:34

是否有任何关于贝叶斯和常客推理的相同性的文章或书籍?

我正在寻找的不仅仅是“在大样本和无信息先验中,结果是相同的,时期”的声明。就像在作者环境中选择的具体情况下,当 p 值方法得出与贝叶斯因子(作为进行贝叶斯假设检验的一种方式)相同的结论时。

你读过什么吗?请分享,特别是如果你写了一些:-)

编辑。我看到我的问题可能会引起一些误解,所以让我解释一下我对“相同结果”的理解。
贝叶斯和 p 值方法的相同结果是贝叶斯因子和 p 值都表示相同的决定:接受/拒绝零假设,即 BF 高于 1 或 3(取决于选择的尺度)和 p 值高于 0.05。

2个回答

使用平坦的先验和大样本量(并且很多时候没有这两种情况),(a)贝叶斯和常客点估计将几乎相同,并且(b)可信区间和置信区间将几乎覆盖相同的范围,导致“拒绝”或“未能拒绝”无效的相同“假设检验”决定。(蒂姆的评论表明了这一点)。

但是,我将推回这句话:

“在大样本和无信息的先验中,结果是相同的,期间”

存在“结果相同”的情况。时期。置信/可信区间是否包括零并不是“结果”的全部。这是结果的一个方面,而且很多时候是微不足道的方面。

假设您估计b = 0.5 的回归系数。假设原假设为真,频率派p值将告诉您观察数据(或更极端数据)的概率。但是,使用 MCMC,您可以从后验中采样来计算系数大于零的概率;也就是说,给定数据,您有替代假设的概率。

使用贝叶斯估计,您还可以在给定数据的情况下比较不同假设(即“贝叶斯因子”)的概率。你不能在常客范式中做到这一点。

正如蒂姆所提到的,后验模式实际上与最大似然频率范式中的点估计相同。然而,在贝叶斯估计中,我们也可以查看后验的中位数或均值,因为我们的后验通常不是(也不应该)对称的。

但是,您要提出的论点是稻草人论点,因为选择统一的先验是没有意义的。例如,没有人会从+对于方差,因为方差不能为负。类似地,如果我们所有的变量都是标准化的,我们预计很少有系数小于 -1 或 > +1 的情况。

在某些情况下——即使你有统一的先验和大样本量——最大似然方法也不会收敛。在这种情况下,即使给出信息量较弱的先验也可以让您获得某种类型的估计,而不是您的最大似然程序只是说“无法收敛”。我用多级模型遇到了这个问题。

简而言之:拥有几乎相同的点估计值和 95% 的可信/置信区间上限和下限并不意味着您拥有“相同的结果”。我们可能会以完全相同的方式得出某些归纳的、宏观的结论,但结果的总体是不一样的。我认为你从 MCMC 后验中获得的大量信息(即,你可以估计你对系数方差的不确定性!)在比较频率论和贝叶斯方法时经常被忽视。

Altham 的这篇论文比较了两组之间相等比例的贝叶斯和非贝叶斯(Fisher 精确)检验。

事实证明,Fisher 的精确检验可以理解为采用先验 Beta(1, 0) 和 Beta(0, 1),这是令人惊讶的,因为使用统一的先验 Beta(1,1) 会更直观。Altham 指出,“[Fisher 精确检验] 似乎对应于对行和列负关联的强烈先验信念。” 她还表明,Fisher 精确检验相对于具有统一先验的贝叶斯分析是严格保守的。