为什么我们不总是使用封闭测试原则进行多重比较?

机器算法验证 假设检验 统计学意义 p 值 多重比较
2022-03-31 21:35:56

从维基百科条目:

假设有 k 个假设要测试,并且总体 I 类错误率为封闭测试原则允许拒绝这些基本假设中的任何一个,比如的交叉假设都可以通过使用有效的局部级别测试来拒绝。它在强烈的意义上控制了所有 k 级假设的全族错误率。H1,...,HkαHiHiα

通过使用封闭测试原则,我们确保一个家庭中所有假设检验的所有误报率都将控制在这似乎好得令人难以置信。当我们可以测试所有相交假设时,为什么还要使用 Bonferonni 或其他校正来进行多重比较?唯一的缺点似乎是您需要进行次测试。α2n

编辑:我正在考虑相对少量的个人假设检验,比如然后你会有合理数量的测试。n=3or5

1个回答

它实际上经常使用(事实上,Bonferroni 和 Bonferroni-Holm 可以证明是使用封闭测试原理的有效测试 - 见下文)。像 Bonferroni 这样的简单程序仍然如此受欢迎的部分原因当然是它们很容易实现,并且很容易传达你所做的事情。

例如,即使对于简单的 Bonferroni 或 Bonferroni-Holm,写下交叉零假设的测试也有点乏味。这就是为什么构建封闭式测试程序的图形方法非常流行的原因——至少在临床试验环境中(通常有训练有素的统计学家可以帮助为特定试验预先指定定制的测试程序)。这种图形化方法提供了一种非常简单的方法来构建有效的测试程序并使沟通更容易。多年来已经提出了各种变体、扩展和改进,例如利用相关性、根据已经拒绝的假设对某些假设进行优先排序等。

Bonferroni 与 Bonferroni-Holm 作为封闭式测试程序示例

Bonferroni 测试可以很容易地根据封闭测试原理写下来,例如在两个零假设的情况下

  • 测试H1H2p1α/2p2α/2
  • 测试基本零假设H1p1α/2
  • 基本零假设检验H2p2α/2

H1整体拒绝,如果两者都H1H1H2被拒绝。因此,我们知道这是一个有效的测试。您还可以立即看到对于基本零假设H1H2您正在使用的检验并未耗尽显着性水平并且 Bonferroni-Holm 检验

  • 测试H1H2p1α/2p2α/2
  • 测试H1p1α
  • 测试H2p2α

统一更强大。

图 1:显示这两个过程的图形方法说明 Bonferroni 和 Bonf.-Holm 作为图形封闭测试程序

电源注意事项和其他注意事项

通常,使用封闭式测试程序在能力方面没有任何缺点 - 如果有的话,确保测试完全耗尽显着性水平往往更容易。有时,在保留一些其他所需的约束(例如,由于测试过程的一致性要求,封闭测试过程可以很容易地以图形方式显示)的同时,构建一些所需的特征(例如利用已知的相关性)可能会有点棘手。