对于大多数测试，不可能控制这两种类型的错误。（几乎）所有测试的设置方式是这样的：在假设原假设为真的情况下，我们检查某个结果（测试统计量）或更糟的概率。现在，如果该概率非常低（通常 < 5%），我们将拒绝该零假设，因为我们确实观察到该结果，而零假设使该结果不太可能（基本思想是可能存在其他一些“假设” （例如平均值的其他值）使我们的结果更有可能）。

所以，如果这个概率很低，由于构造的原因，我们可以真正地说：如果原假设为真，这种情况发生的可能性小于 5%，因此拒绝原假设是有意义的。

问题是：如果这个概率是（例如）6%，会发生什么？现在，我们不拒绝原假设，因为它没有低于阈值。但另一方面，我们可能会检验 10 个相似的假设（10 个不同的平均值），它们都可能返回高于 5% 的概率。显然，不可能说我们“接受”了所有这 10 个假设，对吧？否则，我们将声明我们接受 10 个不同的平均值。我们只进行 1 次测试而不是 10 次测试的事实并没有改变这一点：仅仅因为我们有一个结果很可能在给定零假设的情况下发生，该值也可能与其他假设一起发生，所以我们永远不能'接受'原假设。我们能做的最好的事情就是说我们没有理由拒绝它。

一篇有用的文章是：

Murdock, D, Tsai, YL 和 Adcock, J (2008) P 值是随机变量。美国统计学家。卷。62，没有。3，242-245。

这讨论了 p 值如何成为随机变量，如果零假设为真，则遵循均匀分布。这意味着您获得 p 值为 0.9 的数据的机会与获得 p 值为 0.1 的数据的机会完全相同（当 null 为真时）。当 null 不为真时，接近 0 的 p 值比接近 1 的 p 值更有可能（但在某些情况下不会很多）。

您可以通过模拟 null 下的案例、null 为假但功率非常低的案例（真相非常接近 null）以及 null 远离真相的案例（一个工具对此的帮助是 R 的 TeachingDemos 包中的 Pvalue.norm.sim 函数）。

我们更喜欢“不拒绝”这个词，因为它更好地表明虽然 null 可能是真的，但它也可能是假的，我们只是没有足够的数据来证明它。

在许多情况下，两者都不是最好的方法。考虑使用 P 值作为反对零的证据的指标，并在真实实验假设的领域而不是在统计假设的领域做出结论。通常前者更为重要。