理解一个关于P值的陈述

机器算法验证 假设检验 p 值
2022-03-31 00:05:48

大多数科学家会看着他最初的 P 值 0.01 并说他的结果只有 1% 的可能性是误报。但他们会错的。P 值不能这么说:它所能做的就是在假设一个特定的零假设的情况下总结数据。它不能倒退并就潜在的现实做出陈述。这需要另一条信息:首先出现真正影响的可能性。忽略这一点就像醒来时头痛并得出结论说您患有罕见的脑瘤——可能,但不太可能需要更多证据来取代日常解释,例如过敏反应。假设(心灵感应、外星人、顺势疗法)越不可信,无论 P 值是多少,令人兴奋的发现成为误报的可能性就越大。[1]

[1] https://www.nature.com/news/scientific-method-statistical-errors-1.14700

我很难理解这段文字,尤其是这段话:

P 值不能这么说:它所能做的就是在假设一个特定的零假设的情况下总结数据。它不能倒退并就潜在的现实做出陈述。这需要另一条信息:首先出现真正影响的可能性。

为什么P值不能反向工作?这不是P值的重点吗?如果在零假设的假设下观察到的数据的概率非常极端,我们拒绝零假设并假设替代假设为真,还是我的想法有误?

2个回答

如果您的数据是,并且您的假设则 p 值为DH0p=P(DH0)

值告诉您以下内容p

如果为真,我当前观察到的数据的可能性有多大?H0

因此,如果非常低,仅表示数据不会轻易发生在为真的世界中。这并不意味着是错误的:数据本身可能是错误的。你有一个选择:你要么拒绝理论要么拒绝数据如果你想计算,你需要应用贝叶斯规则 “向后工作”意味着pH0H0DH0DP(H0D)

P(H0D)P(DH0)P(H0)=pP(H0)
P(H0D)=P(DH0)这在几乎所有情况下都是错误的。要应用公式,您需要计算,这就是P(H0)

一开始就存在真正影响的可能性

但是,您永远不会拥有的值。P(H0)

不用方程式回答:

p值是惊喜的量度。鉴于零假设为真(实验设计),您在数据中偶然发现至少这个极端值的可能性有多大。

您根据测试数据计算 p。您永远不能包含实际数据。如果您可以获得实际数据,则首先不需要进行假设检验。所以测试数据甚至是一个随机样本,它可以来自实际分布的任何部分。鉴于这种随机性,您不能使用您计算的 p 值说他的结果只有 ap*100% 的可能性是误报。

希望这能回答你的问题。