p 假设（相等的 p 值提供了针对 null 的相等证据）是否正确？

机器算法验证 假设检验 p 值 常客
2022-03-28 08:28:00

p 假设是这样一种概念，即相等的 p 值提供了相同的证据来反对零假设。

Wagenmakers 等人 (2008) 写道：

如果 p 值真正反映证据，则最低要求是相等的 p 值提供反对零假设（即 p 假设）的相等证据。根据 p 假设，10 次观察的 p = .05 构成反对零假设的证据与 50 次观察后的 p = .05 一样多。

他们引用 Royall (1986) 作为他们定义 p 公设的来源。他们还继续说这个假设是错误的。是吗？

  • 罗亚尔，注册护士（1986 年）。样本量对显着性检验意义的影响，美国统计学家，40:4，313-315
  • Wagenmakers, E.-J., Lee, MD, Lodewyckx, T., & Iverson, G. (2008)。贝叶斯与常客推理。在 H. Hoijtink、I. Klugkist 和 PA Boelen (Eds.)，信息假设的贝叶斯评估，第 181-207 页。斯普林格：纽约。
1个回答

Royall 论文以两个引述开头，提供了对 p 值的明显矛盾的解释。两者都依赖于根据样本量来解释 p 值，因此两者都是对 p 值的有缺陷的解释。

p 值告诉我们一件事，而且只告诉我们一件事——由于随机抽样误差，观察到的统计量比在样本中观察到的统计量极端或更极端的概率。在任何情况下，样本为 10 或样本为 50（或任何样本大小）的 p 值为 0.05 会产生相同的解释。在模型的假设下，如果零假设实际上是正确的，则仅 5% 的样本中会观察到观察到的或更大的差异。

因此，针对您的具体问题并专注于仅解释 p 值，答案是肯定的——在任何样本量下，相等的 p 值都提供了反对零假设的相同证据。

这并没有告诉我们关于差异的大小或影响大小的任何信息。事实上，在所有其他条件相同的情况下，观察到的效应大小的相同差异将随着样本大小的增加而产生较低的 p 值。反对无效（p 值）的证据强度和差异的大小（效应大小）应一起解释。

其它你可能感兴趣的问题
上一篇如何测试两组 Pearson 相关性之间的差异？ 下一篇测试空间平稳性（同质性）？