统计上不显着的均值差异是否意味着均值?

机器算法验证 假设检验 t检验 直觉 等价 非自卑
2022-03-31 14:51:14

假设我有一组 A 和 B 的正态分布数据,这样:

 A: mean=250, SD=200, N=25 
 B: mean=248, SD=200, N=20

显然,平均值之间没有统计学上的显着差异(p=0.9736)。但这是否意味着手段是平等的,或者我们没有证据表明其他情况?考虑到巨大的标准偏差,直觉上似乎不太可能均值相等但这就是原假设所说的,并且基于 t 检验,我们没有拒绝它。

拥有如此嘈杂的数据,如何量化手段的平等程度?

更新 这个问题源于我和一位正在测试两种药物治疗对生物样本的影响的同事之间的讨论。由于测试显示治疗之间的差异微不足道,我的同事认为这允许他声称治疗具有相同的效果。通过上面的示例,我试图表明情况不一定如此。但我不知道使事情更加量化的正确术语。因此这个问题。

1个回答

正式地,没有。您的结论只是您“不能拒绝”它们相等的空值。他们可能仍然不同!也许更多的数据可以证明这一点。

要说更多的这些形式,我们需要更多地了解上下文。在您的应用环境中,对于结果的预期用途,差异必须有多大才能具有任何实际意义?为了帮助您进入这种心态,您最好计算均值差异的置信区间(例如 95%)。如果该区间内的所有值都小到足以让您(和您的读者)得出结论“这样的差异小到没有任何实际意义”,那么,首先,您是否可以得出结论:均值实际上是相等的。

经验测量永远不能决定数学上的等式,即恒等式!

正如另一位评论者所说,如果您真的想证明平等(或者,“非劣效性”可能是要问的相关问题),则存在等效性测试(证明您的新药与竞争对手等效)或非劣效性测试(以证明它是等效的或更好的)。