什么时候(如果有的话)进行事后功率分析是个好主意?

机器算法验证 统计能力
2022-02-28 06:17:19

我的理解是,当且仅当它使用观察到的效应大小作为目标群体效应大小时,功效分析才是事后的。

2个回答

在我的领域中,我看到人们在做事后的权力分析时,论文的目的是表明人们可能预期会出现的某些效果(由于以前的文献、常识等)不是,至少根据进行一些显着性检验。

然而,在这些情况下,研究人员有点束手无策——他或她可能获得了一个不显着的结果,要么是因为人群中确实不存在这种效果,要么是因为该研究没有足够的能力来检测即使它存在也有影响。因此,功效分析的目的是表明,即使在人群中产生微不足道的影响,该研究也很有可能检测到这种影响。

有关使用事后功率分析的具体示例,请参阅链接的论文。

对于给定的先验效应大小,您始终可以计算研究产生显着结果的概率。从理论上讲,这应该在进行研究之前完成,因为在存在效应时进行具有低功效的研究是没有意义的。但是,您也可以在研究之后计算功效,以发现研究具有低功效,或者不太可能具有高功效,以检测甚至很小的影响。

术语 post-hoc 或观察到的功效用于功效分析,它使用样本中观察到的效应大小来计算功效,假设观察到的效应大小是对真实效应大小的合理估计。许多统计学家指出,在单个研究中观察到的功效信息量不是很大,因为效应量的估计精度不足以提供信息量。最近,研究人员开始检查一组研究的观察功效,以检验研究的平均功效有多大,以及研究报告的结果是否比研究的实际功效所证明的更重要。

https://replicationindex.wordpress.com/tag/observed-power/