非显着结果的事后功效分析?

机器算法验证 统计能力 事后
2022-03-25 03:53:04

我已向一家期刊提交了一篇论文,报告了一项不重要的发现。一位审稿人要求我对我的数据进行功效分析,以计算出我需要多大的样本量才能充分支持一项研究,以检验 1500 的原始均值差异的显着性。基本上,他希望我“证明”我的研究没有动力不足。有人可以就如何做到这一点给我建议吗?

我运行了一个未配对的 t 检验,其中:

  • A组:(n = 6)平均值 = 5424;标清 = 923
  • B组:(n = 8)平均值 = 4734;标清 = 702
2个回答

功效分析利用具有四个变量(、功效、和效应大小)的方程。当您通过规定其他方法来求解功率时,这称为“事后”功率分析。人们经常使用事后功效分析来确定他们在发现非显着结果后检测研究中观察到的效果所必须的功效,并使用低功效来证明为什么他们的结果不显着并且他们的理论可能仍然正确. 正如@rvl 在评论中指出的那样,这涉及“循环逻辑并且[是] 一个空的练习”。 但是,这不是您在这里所做的。 此外,“事后”功率分析可以αN是一个合法的练习:例如,我有一些案例,研究人员知道他们只能获得一定数量的罕见病患者,并想知道他们能够检测到特定临床意义的能力影响。虽然这不是事后意义上的“事后”,但它被称为“事后”权力分析,因为它解决了作为其他三个函数的权力。

我会冒险并假设你的显然,的原始平均差和计算的合并 SD 的标准化平均差来确定效果大小。 α.05N=91500

SDpooled=(n11)s12+(n21)s22(n1+n2)22145.041=(51)19302+(41)24022(5+4)2ES=mean differenceSDpooled0.70=15002145.041

确定了要使用的效应大小后,您需要一些软件来为您进行功效分析计算。(它涉及您无法手动完成的数值近似。)G*Power是一个免费且方便的应用程序。

在此处输入图像描述

时,使用双尾的标准化平均差的能力为我会说你的研究动力不足。 0.70α=.05tN=915%

我不敢相信人们仍然要求事后功率分析!

请不要将其包含在您的论文中。事后权力分析不会告诉你任何事情,阅读你论文的人会认为你不知道自己在做什么!

功率分析只能在您收集数据之前进行。它们对于例如确定您需要收集的样本数量以观察特定效果大小非常有用。研究结束后,“事后”分析毫无用处,因为您的效果和样本量都是常数。一些人认为它们可用于确定假设的未来研究所需的样本量,但其效用存在争议(因为只有在实际进行研究时才有意义)。但是审稿人并没有要求这个,他/她要求你证明你的研究动力不足,这是使用事后动力分析无法做到的。

快速的网络搜索给了我以下降低事后权力的帖子/论文。请阅读它们并将您的审阅者推荐给他们。显然,他/她不明白他/她要你做什么。

参考:

对不起大喊大叫;-P