具有重复测量方差分析的 Bonferroni 和 Greenhouse-Geisser 校正

机器算法验证 方差分析 重复测量 多重比较 邦费罗尼 球形度
2022-04-05 00:19:45

我想我的问题分为两部分:

  1. 在 1x7 重复测量方差分析之后,我进行了 3 次预先计划的测试。两个是两个条件之间的 t 检验。第三个是 1x6 ANOVA(测试条件 2-7 之间的显着性)。我的问题是:
    我必须对所有 3 个测试应用 Bonferroni 校正,还是只对 2 个测试应用?即所有 3 个测试的显着性水平是否应为 0.05/3 = 0.017?

  2. 如上所述,我进行了 1x7 重复测量方差分析和 3 个预先计划的测试(2 个 t 检验和 1x6 方差分析)。在最初的 1x7 中,假设为球形,因此我报告了“假设球形”统计数据,它并不显着。接下来,尽管这并不重要,我还是决定为了完整起见我应该进行预先计划的测试。当我进行 1x6 重复测量 ANOVA 时,不假设球形度,因此我使用 Greenhouse-Geisser 值,它出现显着(如果我使用 Shericity 假设值,它将不显着)。我的问题是,当原始 1x7 不显着时,仅使用 6 个 1x7 条件的 ANOVA 变得显着。从逻辑上讲,这对我来说似乎没有意义。
    是否有一些“经验法则”,温室-盖瑟值的使用需要保持一致?

我希望这是有道理的。我已经搜索了互联网。我看过的统计书籍比你能动摇的还要多。但是没有什么比讨论这种情况更接近了。

2个回答

关于 Bonferroni(以及一般的多重比较问题)Jacob Cohen 在他关于回归的书中说:“这是一个理性的人可以不同的主题”。有理由认为根本不进行此类更正(例如,参见Andrew Gelman 的这篇文章)。我觉得这样的论点很有说服力。

如果你减少了第 1 类错误的机会,那么(在其他条件相同的情况下)你会增加第 2 类错误的机会(也就是说,你会降低功率)。在许多领域中,“给定”值是类型 1 的 0.05 和功率 0.8(类型 2 的 .2)。但这些可能是明智的,也可能是不明智的。类型 2 错误可能比类型 1 错误更严重。

在我看来,重要的不是统计显着性,当然也不是是否低于 0.05,而是效果大小和效果大小的精度。

如果您纠正多重比较,那实际上是“多重”是什么的问题。套用科恩的话,应该是为了一个实验吗?一篇文章?一组结果?关于一个主题的结果?你做过的所有结果?或者是什么?

从纯粹实用的角度来看,您可能需要做一些特定的事情来满足期刊编辑或其他主管的要求。

几点-评论太长了:

  1. 如果您使用 Bonferroni 校正来保护预先计划的测试,则无需运行原始 ANOVA。“双重保护”只是失去动力。
  2. ANOVA 的大多数标准“事后”检验不需要原始 F 检验的保护。本质上,唯一需要它的方法是根本不调整事后测试。这通常是不推荐的,因为这种方法只能对家庭类型 I 错误率提供较弱的控制(即,只有当所有均值相等时,才会控制成对比较的错误率)
  3. 你正在用球形假设做奇怪的事情。大约,这意味着任何成对的差异都具有相同的方差。如果您愿意假设整个设计都满足它,那么任何子集也应该如此。因此,如果您对子集使用 GG 校正,则应该对整个集合使用它(反过来不一定是真的)。如果 GG 校正显着改变了结果(不仅仅是将 p 值从 0.048 移动到 0.052),则可能不满足球形度。
  4. 您一直将“不重要”与“没有区别”混淆。虽然这样做很诱人,但这种想法会导致各种明显的悖论。