如果统计数据没有显示显着性,我是否必须计算它的功效?

机器算法验证 方差分析 重复测量 多重比较 统计能力
2022-03-17 03:32:13

按照这个问题中描述的设计和数据,我做了一个简单的单向受试者内重复测量 (RM) 方差分析,发现了一些显着的 p 值。然后我应用了非正交事后 Tukey 的 HSD 测试,当我得到显着结果时,我应用了 Holm-Bonferroni (1979) 校正。每当一些 p 值在 FWER 校正中幸存下来时,我都会计算 95% 的 CI 和相关成对比较的平均值。

我的问题是:如果我在上述任何步骤中都没有观察到显着的结果,我是否必须对 RM ANOVA 进行功效分析,应用Tukey 的 HSD 测试Holm-Bonferroni调整,还是只报告结果来自 RM ANOVA 而不进行功率分析?

问题是我只是在实验之后才开始沉浸在生物统计学中,不幸的是我事先没有进行功效分析。

4个回答

事后功率计算的强硬观点是:不要这样做,因为它没有意义。爱荷华大学的 Russ Lenth 在这里有一篇关于这个主题的文章(他的网站 上还有一个有趣的 Java 小程序,用于事后处理)。

顺便说一句,Tukey's 并不依赖于 ANOVA 结果的显着性。即使整体方差分析不显着,您也可能存在显着的成对差异。

也就是说,如果您要进行 Tukey 校正的成对比较,请不要先检查整体显着性。如果您仅在获得显着的总体 p 值后才运行 Tukey 比较,则您过度校正。

(我相信这对于常规方差分析是正确的;重复测量或非正交性可能会发生其他事情;有人愿意插话吗?)

最后,同意 Freya 的观点,但要提供更多指导,而不是事后功率测试,更合理的报告是置信区间;它们准确地显示了您的实验可能检测到的差异有多大,这通常是人们无论如何想要进行事后功率测试时所追求的。

大多数教科书认为,只有在带有显着 f 的情况下才进行像 Tukey 这样的事后处理才是合适的。如果您选择基于理论的计划比较,则 F 不显着就可以了…… Tukey 是一个相当保守的测试,如果 f 不显着,通常不会显示显着性。你用什么值来计算 Tukey 的均方?置信区间也应该使用均方,而不是单独的方差估计。

关于事后功率估计陷阱的另一个很好的讨论见:

Gerard、PD、DR Smith 和 G. Weerakkody。1998. 回顾性权力分析的局限性。野生动物管理杂志 62:801-807 [链接]。