p值的置信区间是多少?

机器算法验证 假设检验 置信区间 p 值 引导程序
2022-04-08 11:38:43

值用于报告我们对假设的假设的强度很明显,这个值本身是根据数据估计的,如果在相同条件下收集新数据,新的值不太可能相同。ppp

Halsey、Curran-Everett、Vowler 和 Drummond (2015) 在对 Nature Methods 的评论中表明,围绕值的不确定性可能相当大。在回复中,Lazzeroni, Lu & Belitskaya-Lévy(2016 年,同一期刊)给出了一个观察到的值为 0.049 的示例,其置信区间从 0.00000008 到 0.99。pp

我的问题是:我们知道值的抽样分布吗?根据后者,它不依赖于样本大小(并且可能依赖于样本的标准偏差,因为所有这些都用于“标准化”检验统计量)。据推测,它可能取决于测试程序?p

我知道如果为真,则值的分布在 0 到 1 的范围内是均匀的(但不记得我在哪里学到的)。随着越来越不充分,值的分布达到峰值,超过 0% 的概率(对于左尾检验)。H0pH0p

使用引导程序很容易获得值分布的可视化表示。然而,一个更令人满意的答案是有一个公式(封闭形式更好),这样我们就可以准确地知道哪些特征会影响该分布,以及此后的置信区间的宽度。p

您是否知道这样的公式,或者是否有可能拥有一个?

1个回答

问题是 ap 值不是参数的估计,因此置信区间的想法不适用。谈论围绕 ap 值的不确定性也是没有意义的。p值是确定的;你从中得出的结论不是。