贝叶斯因子是否需要多重比较校正?

机器算法验证 贝叶斯 多重比较 似然比
2022-03-29 23:26:19

如标题:贝叶斯因子是否需要多重比较校正?

对于更多上下文,我正在计算非常多的似然比检验,并且我正在考虑如何处理多重比较校正。我认为贝叶斯因子可能会提供一个解决方案——如果我在贝叶斯因子证据量表中展示结果,那么我认为不需要更正吗?

使用 MCMC 为每个测试计算完整的贝叶斯因子是很困难的(但并非不可能——尽管我不确定如何真正选择先验),但是按照Wasserman (2000),BIC 似乎可以用来近似贝叶斯因子。所以它似乎解决了我的多重比较困难,我可以简单地将项添加到我的对数似然比中,将其取幂并将其称为贝叶斯因子,我可以无需校正即可呈现。df2logn

这似乎好得令人难以置信,所以我错过了什么?

我的观点是,它将推理步骤推给读者,而不是呈现贝叶斯因子证据(这当然正是我想要做的,从哲学上讲,我认为不需要为图像中的每个点分配一个精确的 p 值) - 但这可能会被审稿人接受吗?(应用在神经影像学中)

3个回答

您缺少的是,使用所有参数都是独立的先验很少有意义。如果参数像集合{一些物理常数,一些棒球运动员的击球率,一些酵母基因的表达水平}一样多变且逻辑上不相关,这可能是有道理的。

大多数分析着眼于最好建模为可交换的参数集,例如所有当前球员的击球平均值或所有酵母基因表达水平的集。对于估计,这导致了这样的方法对于测试,它会导致这样的方法

不一定适用于贝叶斯因子。但是贝叶斯因子需要转换为后验概率才能进行适当的推理,而后验概率肯定需要进行某种 Bonferroni 式的多重性调整。这是解释:

如果假设是先验独立的,那么随着测试的假设数量的增加,所有空值同时为真的概率会非常迅速地降至零。但是对于是否存在任何影响可能存在科学怀疑:例如,在神经影像学研究中,可能会怀疑所研究的关联是否具有任何神经元基础。(尽管如此,最极端的统计数据可能表明存在关联,因为当您查看大量统计数据时,极端值可能非常不典型。)

在这种情况下,对于是否存在任何关联存在科学怀疑,您必须将全局零假设的先验概率设置为某个非无穷小值,以便正确模拟这种怀疑。这样做时,您对组件空值的先验概率必然会从常用水平(例如 0.5)增加,具体取决于测试假设的数量,以及您对其先验依赖性程度的评估。分量零点上的先验概率的这种变化导致分量零点上的后验概率发生变化(或调整)。当组件被假定为先验独立时,此调整类似于通常的 Bonferroni 调整, 并且在假设组件相关时没有 Bonferroni 调整那么极端。

这个问题在以下文献中进行了讨论。最后一个参考讨论了在假设先前依赖时如何进行分析。

Jeffreys, H. 概率论。牛津出版社。

Westfall, PH, Johnson, WO 和 Utts, JM (1997)。关于 Bonferroni 调整的贝叶斯视角,Biometrika 84, 419–427。

Gönen, M., Westfall, PH 和 Johnson, WO (2003)。贝叶斯多重检验两个样本多变量端点,生物识别 59, 76-82。

在频率论推理的上下文中,后验概率或空值的后验概率(又名本地 fdr)只不过是一个检验统计量。仅凭偶然性,它肯定会导致您做出许多错误的推论。

如果你想对你可能犯的错误数量做一些常客保证,则应该将后验概率插入一些多重性控制方案中。