所以,这可能是一个常见的问题,但我从来没有找到一个令人满意的答案。
你如何确定原假设为真(或假)的概率?
假设您为学生提供了两个不同版本的测试,并想查看这些版本是否相同。您执行 t 检验,它给出的 p 值为 0.02。多么好的 p 值!这一定意味着测试不太可能是等效的,对吧?不,不幸的是,P(results|null) 似乎没有告诉你 P(null|results)。正常的做法是在遇到低 p 值时拒绝原假设,但我们怎么知道我们没有拒绝很可能为真的原假设?举一个愚蠢的例子,我可以设计一个误报率为 0.02 的埃博拉病毒测试:将 50 个球放入一个桶中,并在其中一个上写上“埃博拉病毒”。如果我用这个测试某人并且他们选择了“埃博拉”球,那么 p 值(P(选择球|他们没有埃博拉病毒))是 0.02,
到目前为止我考虑过的事情:
- 假设 P(null|results)~=P(results|null)——对于一些重要的应用程序来说显然是错误的。
- 在不知道 P(null|results) 的情况下接受或拒绝假设——我们为什么要接受或拒绝它们?我们拒绝我们认为可能是错误的东西并接受可能是真的东西的全部意义不是吗?
- 使用贝叶斯定理——但是你如何得到你的先验?难道你最终不会回到同一个地方试图通过实验确定它们吗?先验地选择它们似乎非常武断。
- 我在这里发现了一个非常相似的问题:stats.stackexchange.com/questions/231580/。这里的一个答案似乎基本上是说,询问零假设为真的概率是没有意义的,因为这是一个贝叶斯问题。也许我本质上是一个贝叶斯主义者,但我无法想象不问这个问题。事实上,对 p 值最常见的误解似乎是它们是真零假设的概率。如果您真的不能以常客的身份提出这个问题,那么我的主要问题是#3:您如何在不陷入循环的情况下获得先验?
编辑:感谢您的所有深思熟虑的答复。我想谈谈几个共同的主题。
- 概率的定义:我敢肯定有很多关于这方面的文献,但我的幼稚概念类似于“相信一个完全理性的人会提供信息”或“在这种情况下最大化利润的投注几率”被重复,未知数被允许变化”。
- 我们能知道 P(H0|results) 吗?当然,这似乎是一个棘手的问题。但我相信,每个概率在理论上都是可知的,因为概率总是以给定信息为条件。每个事件都会发生或不发生,因此在完整信息下不存在概率。它只存在于信息不足的情况下,因此应该是可知的。例如,如果有人告诉我有人有硬币并询问正面的概率,我会说 50%。硬币可能有 70% 的权重是正面,但我没有得到那个信息,所以我掌握的信息的概率是 50%,就像它碰巧落在反面一样,概率是 70%当我了解到这一点时。由于概率总是以一组(不充分的)数据为条件,
编辑:“总是”可能有点太强了。可能有一些我们无法确定概率的哲学问题。尽管如此,在现实世界的情况下,虽然我们“几乎永远不会”有绝对的确定性,但应该“几乎总是”是一个最佳估计。