功率通常是您在进行研究之前计算的东西。例如，假设您正在尝试测试药物 A 是否比药物 B 更有效。由于某些成本，每个新参与者都非常昂贵。因此，您计算您希望能够检测到的最小效应量（例如，它将血压降低 10 个点），然后根据该信息确定您需要什么样本量来检测治疗中的 10 个点差异。假设功率分析表明您需要 40 名参与者。

现在让我们说治疗 A 和 B 之间的实际差异比你的最小值大得多——比如 30 分。您可以使用更小的样本量来检测这种差异。功效分析的重点是设置您定性认为需要检测的最小效应量。

因此，功率分析并不是您在研究后真正做过的事情，尤其是在您的结果很重要的情况下。如果你的结果很重要，那么它们就很重要。没有附加条件（嗯，至少与权力有关）。

你绝对，完全，完全正确。这个精确的论点已由Hoenig & Heisey 发表，“The Abuse of Power: The Pervasive Fallacy of Power Calculations for Data Analysis”（2001 年，美国统计学家）。

实际上，他们反其道而行之：人们经常在发现没有显着效果后使用“事后功效”，而这种“功效计算”“表明”他们的研究不足以找到他们确实发现的效果大小。但是，当然，以与您的方式完全相同的方式，这只是对大于 0.05 的 ap 值在逻辑上等同于功率太低而无法检测到观察到的效果这一事实的重新表述$\alpha=0.05$.

除了用于在研究之前决定所需的样本量（在Tanner Phillips 的出色回答中描述）之外，还有另一个需要关注统计功效的原因： 低统计功效可能是文件抽屉问题的征兆。

确实，如果您进行一项研究并获得显着的结果，那么您设计的统计能力在这一点上是无关紧要的。这是对已经发生的事情发生的可能性的计算，在您完成研究后，这对您来说并不是真正有用的信息。

然而，尽管功效较低，但还有另一种方法可以在研究中获得显着结果：运行大量试验（或使用大量不同的因变量，或以多种不同的方式分析数据，发挥您的想象力），其中每一个都是检测效果不佳，可能无法正常工作，然后发布偶然发现的重要内容。

因此，当论文的读者注意到其中描述的研究设计不足以可靠地检测其领域的典型效应大小时，他们必须决定哪个更有可能：

• 研究作者有一个理论上的理由认为效应量大于他们领域的典型值，结果证明他们是对的。
• 研究作者正在进行一些 p-hacking。

我们都希望生活在一个前者更普遍的世界里，但许多最依赖推论统计的科学领域目前正处于对后者频率的考虑之中。

约翰·约阿尼迪斯 (John Ioannidis) 在他的论文Why Most Published Research Findings are False中最引人注目地提出了这一论点。

让我们考虑一个测试是否$\mu = 0$或者$\mu \neq 0$. 好吧，让我们测量$\mu$！唉，测量结果总是存在统计差异。让我们称之为噪音的规模$\Delta\mu$.

如果您的测量是低功率的，这意味着预期的效果大小，$\mu^\star$, 不比噪音水平大多少$\Delta\mu$. 因此，如果我们似乎能够显着区分大小的新影响，我们应该担心$\mu^\star$从噪音。

稍微正式一点，如果研究是低功效的，而显着的结果很少见$H_0$（由定义给出的速率由$\alpha$)，在预期效应大小下也很少见$H_1$（由幂定义给出的速率）！那么我们能真正得出什么结论呢？出于这些考虑，伯恩鲍姆提出了一项针对该比率无效的证据措施，

更正式地说，如果你用$R$，并考虑简单的假设，在给定显着结果的情况下，效果为真实的概率为

例如，请参阅本文以进行进一步讨论（我相信还有更多）。