p值也是错误发现率吗?

机器算法验证 假设检验 统计学意义 p 值 错误发现率 类型 i 和 ii 错误
2022-03-11 20:20:57

http://surveyanalysis.org/wiki/Multiple_Comparisons_(Post_Hoc_Testing)它声明

例如,如果我们的 p 值为 0.05,并且我们得出结论认为错误发现的概率是显着的,那么根据定义,错误发现的概率为 0.05。

我的问题:我一直认为错误发现是 I 类错误,它等于大多数测试中选择的显着性水平。P 值是根据样本计算的值。事实上,维基百科指出

p 值不应与 Neyman-Pearson 方法中的显着性水平或 I 类错误率 [假阳性率] 混淆"α

那么为什么链接的文章声称 I 类错误率是由 p 值给出的呢?

2个回答

您的错误发现率不仅取决于 p 值阈值,还取决于真相。事实上,如果你的零假设实际上是错误的,那么你不可能做出错误的发现。

也许这样想会有所帮助:p 值阈值是在没有真正发现时做出错误发现的概率(或者换一种说法,如果零假设为真)。

基本上,

类型 1 错误率 = “如果为真,则拒绝空值的概率” = p 值阈值

如果原假设为真,则类型 1 错误率 = 错误发现率

是正确的,但请注意以真空值为条件。错误发现率没有这个条件,因此取决于您的无效假设中有多少实际上是正确的未知真相。

还值得考虑的是,当您使用像 Benjamini-Hochberg 这样的程序来控制错误发现率时,您永远无法估计实际的错误发现率,而是通过估计上限来控制它。要做得更多,您实际上需要能够使用统计数据检测零假设是否为真,而您只能检测到一定量级的违规行为(取决于您的测试的能力)。

P 值和假阳性率(或错误发现率)之间的差异在http://rsos.royalsocietypublishing.org/content/1/3/140216中解释清楚,我希望

尽管那篇论文使用了 False Discovery Rate 这个术语,但我现在更喜欢 False Positive Rate,因为前一个术语经常用于多重比较校正的上下文中。那是一个不同的问题。论文指出,对于单一的无偏测试,几乎在所有情况下,误报率都远高于 P 值。

https://aeon.co/essays/it-s-time-for-science-to-abandon-the-term-statistically-significant也有对底层逻辑的定性描述