即使您确实从显着性检验中获得了显着的 p 值，您也应该通过为其构建置信区间来查看影响的大小。

情况1：

在检查置信区间时，例如，如果您注意到该区间完全低于构成临床重要效应的预定义阈值，您将不得不得出结论，虽然潜在人群中可能存在影响，但其幅度非常小从临床的角度来看，它可能没有任何实用价值。

案例2

如果该区间确实包括您对构成临床重要效应的预定义阈值，您将无法排除您对潜在人群感兴趣的效应可能大到足以具有实际重要性的可能性。

————-/————-

目前正在推动完全用置信区间替换显着性检验，并且在使用置信区间时，将它们解释为兼容性区间。

通常，在实践中，人们只会进行显着性检验，而不报告他们检验的效果的置信区间。当他们确实报告了置信区间时，他们可能并不总是清楚地知道什么构成了临床（或实际上）相关的效应量。因此，当相应的 p 值显着时，他们可能很乐意宣布该效应具有统计学意义（即，它可能存在于基础人群中），而不用担心其临床（或实际）相关性。

对于那些完全依赖于报告 p 值来进行显着性检验的人来说，当 p 值不显着时，他们总是会得出结论缺乏影响的危险，而另一种解释可能是存在影响，但研究的动力不足，无法检测到它。在这些情况下，置信区间会更容易解释。

一般来说，真正的问题是人们总是希望从一次性研究中获得明确的结果，而这些研究通常是动力不足的。因此，当他们发现不确定的结果时，他们会通过使用命运多舛的术语（例如“结果趋向于统计显着性”等）来使结果更具决定性。

因此，我想说您可以通过始终报告您测试的效果的置信区间来改进您当前的做法（代替或作为显着性测试的补充）。

我将把你的问题稍微改变为“患者只能注意到超过 1 厘米的变化”（这使得 null 成为一个封闭集，但对于开放集来说更复杂的论点成立）。你的推理并没有解决这个问题，因为你真正想要测试的是而不是，所以 NHST 的标准问题将用于假设。$|\mu_0-\mu_1|\le 1{\rm cm}$$\mu_o=\mu_1$$|\mu_0-\mu_1|\le 1{\rm cm}$

无论如何，几乎可以肯定的假设检验可以在任何足够大的样本中解决这些问题。将您的显着性水平设为 for其中是样本大小，然后在任何足够大的样本中，当它为假时在它以概率一为真。假设也是如此。几乎可以肯定假设检验对于可选停止、有限多次多重比较和发表偏倚是稳健的。它也可以用于模型选择。我在一篇名为“几乎可以肯定的假设检验和杰弗里斯-林德利悖论的解决”的论文中写到了这一点。$n^{-p}$$p>1$$n$$\mu_o=\mu_1$$\mu_o=\mu_1$$|\mu_0-\mu_1|\le 1{\rm cm}$