对问题 1 的回答：出现这种情况是因为$p$当真实差异恰好等于零时，值会随着样本量的增加而变得任意小与任意接近零相反，这是不现实的（请参阅 Nick Stauner 对 OP 的评论）。这$p$-value 变得任意小，因为频率测试统计的误差通常随着样本量而减小，结果是所有差异在样本量足够大的情况下在任意水平上都是显着的。Cosma Shalizi 对此有深入研究。

对问题 2 的回答：在频率论假设检验框架内，人们可以通过不仅仅对检测差异进行推断来防止这种情况发生。例如，人们可以将关于差异和等价的推论结合起来，这样就不会偏袒（或混为一谈！）证明有效证据与无效证据的举证责任。没有效果的证据来自，例如：

1. 两个单边等效测试（TOST），
2. 统一最强大的等效性检验，和
3. 等价的置信区间方法（即，如果$1-2\alpha$检验统计量的 %CI在先验定义的等价/相关范围内，则在$\alpha$显着性水平）。

这些方法都共享的是关于什么影响大小构成相关差异的先验决定，以及根据差异 至少与被认为相关的差异构成的零假设。

因此，当样本量很大时，从差异检验和等价检验的组合推断可以防止您描述的偏差（二乘二表格显示了差异组合检验产生的四种可能性 - 实证主义零假设，$\text{H}_{0}^{+}$——和等价——否定的零假设，$\text{H}_{0}^{-}$):

注意左上象限：一个过强的测试是一个你拒绝没有差异的原假设，但你也拒绝相关差异的原假设，所以是的，有差异，但你有一个先验决定你不关心因为它太小了。

问题 3 的答案：见 2 的答案。

如果原假设为真，则大样本频率检验不会表现出拒绝原假设的偏差。如果检验的假设是有效的并且原假设为真，那么大样本导致拒绝原假设的风险不会比小样本更大。如果 null 不正确，那么我们肯定会很乐意拒绝它，因此大样本比小样本更频繁地拒绝错误 null 的事实不是“偏差”，而是适当的行为。

对“压倒性实验”的恐惧是基于假设当零假设几乎是真的时拒绝它不是一件好事。但如果它几乎是真的，那么它实际上是假的！拒绝，但不要忽视（并清楚地报告）观察到的效果大小。它可能很小，因此不值得认真考虑，但必须在考虑来自假设检验之外的信息后做出关于该问题的决定。