我们可以在非劣效性测试中接受 null 吗?

机器算法验证 假设检验 托斯特 非自卑
2022-03-25 20:03:02

在通常的均值 t 检验中,使用通常的假设检验方法,我们要么拒绝零,要么无法拒绝零,但我们从不接受零。这样做的一个原因是,如果我们获得更多证据,相同的效应量就会变得显着。

但是在非劣效性测试中会发生什么?

那是:

H0:μ1μ0x

对比

H1:μ1μ0>x

其中是我们认为基本相同的某个数量。所以,如果我们拒绝空值,我们说至少如果证据不足,我们不能拒绝无效。 xμ1μ0x

如果效应大小为或更大,则这类似于常规 t 检验。但是,如果我们拥有的样本中的效应大小小于然后,如果我们增加样本量并保持相同的效果,它将保持不显着。因此,我们可以在这种情况下接受 null 吗?xx

2个回答

您的逻辑以完全相同的方式应用于读者可能更熟悉的老式单面测试(即具体而言,假设我们正在测试空为正的替代方案。那么如果真是负数,增加样本量不会产生显着的结果,也就是说,用你的话来说,“如果我们得到更多证据,相同的效应量就会变得显着”是不正确的。x=0H0:μ0μμ

如果我们测试,我们可以得到三种可能的结果:H0:μ0

  1. 首先,置信区间可以完全大于零;然后我们拒绝 null 并接受替代方案(即是肯定的)。(1α)100%μ

  2. 其次,置信区间可以完全低于零。在这种情况下,我们不拒绝 null。但是,在这种情况下,我认为可以说我们“接受空值”,因为我们可以将视为另一个空值并拒绝该空值。H1

  3. 第三,置信区间可以包含零。那么我们不能拒绝,我们也不能拒绝,所以没有什么可以接受的。H0H1

所以我想说,在片面的情况下,人们可以接受空值,是的。但是我们不能仅仅因为我们没有拒绝它而接受它;有三种可能性,而不是两种。

(这同样适用于等效性检验,即“双向检验”(TOST)、非劣效性检验等。人们可以拒绝无效、接受无效或获得不确定的结果。)

相反,当是一个空点,例如时,我们永远不能接受它,因为不构成有效的原假设。H0H0:μ=0H1:μ0

(除非只能有离散值,例如必须是整数;那么似乎我们可以接受因为现在确实构成有效的 null假设。不过,这有点特殊。)μH0:μ=0H1:μZ,μ0


前段时间在@gung 的回答下的评论中讨论了这个问题:为什么统计学家说一个不显着的结果意味着“你不能拒绝零”而不是接受零假设?

另请参阅一个有趣(且投票不足)的线程在 Neyman-Pearson 方法中拒绝 null 是否意味着应该“接受”它?,@Scortchi 解释说,在 Neyman-Pearson 框架中,一些作者在谈论“接受空值”时没有问题。这也是@Alexis 在她回答的最后一段中的意思。

我们从不“接受零假设”(不考虑功效和最小相关效应大小)。通过单一假设检验,我们提出了一种自然状态,H0,然后回答问题的一些变体“我们有多大可能观察到我们的测试统计数据背后的数据,假设H0(以及我们的分布假设)是真的吗?”然后我们将拒绝或无法拒绝我们的H0基于首选的 I 类错误率,并得出一个总是大约HA……那是我们找到了可以得出结论的证据HA,或者我们没有找到证据来得出结论HA. 我们不接受H0因为我们没有寻找证据。缺乏证据(例如,差异)与缺乏证据(例如,差异)不同。.

这对于单面测试是正确的,就像对于双面测试一样:我们寻找有利于HA找到它,或者不找到它。

如果我们只摆出一个H0(没有认真关注最小相关效应大小和统计功效),我们实际上是在先验地承诺确认偏差,因为我们没有寻找证据H0, 仅证明HA. 当然,我们可以(并且,我敢说,应该)提出支持和反对立场的无效假设(结合差异测试的相关性测试(H0+) 与等价测试 (H0) 就这样做)。

在我看来,没有理由不能将自卑的片面检验的推论与非自卑的片面检验的推断结合起来,同时在两个方向上提供证据(或缺乏证据)。

当然,如果一个人在考虑力量效果大小,而一个人没有拒绝H0, 但知道存在 (a) 一些最小相关效应大小δ,并且(b)他们的数据足够强大,可以在给定的测试中检测到它,那么人们可以将其解释为H0.