如何检验没有组差异的假设?

机器算法验证 假设检验 t检验 等价 托斯特
2022-01-19 14:34:14

想象一下,您有一项研究,有两组(例如,男性和女性)查看一个数字因变量(例如,智力测试分数),并且您假设没有组差异。

问题:

  • 测试是否没有组差异的好方法是什么?
  • 您将如何确定充分检验无组间差异所需的样本量?

初步想法:

  • 进行标准 t 检验是不够的,因为未能拒绝原假设并不意味着感兴趣的参数等于或接近于零;对于小样本尤其如此。
  • 我可以查看 95% 置信区间并检查所有值是否都在足够小的范围内;可能正负 0.3 个标准差。
4个回答

我想你是在问关于equivalence 的测试本质上,您需要确定可以接受多大的差异才能得出这两个组实际上是等效的结论。该决定定义了 95%(或其他)置信区间限制,并在此基础上进行样本量计算。

关于这个主题有一整本书

等效性测试的一个非常常见的临床“等效”是非劣效性测试/试验在这种情况下,您“更喜欢”一组而不是另一组(既定治疗),并设计您的测试以表明新治疗在某种统计证据水平上并不逊于既定治疗。

我想我需要感谢GraphPad.com网站(在“图书馆”下)的Harvey Motulsky

除了已经提到的某种等效性测试的可能性(据我所知,其中大多数都遵循良好的老常客传统),还有可能进行真正提供量化证据的测试赞成零假设,即贝叶斯检验

可以在此处找到贝叶斯 t 检验的实现:Wetzels, R., Raaijmakers, JGW, Jakab, E., & Wagenmakers, E.-J。(2009 年)。如何量化支持和反对零假设:默认贝叶斯 t 检验的灵活 WinBUGS 实现。心理公报与评论,16,752-760。

还有一个关于如何在 R 中完成所有这些的教程:

http://www.ruudwetzels.com/index.php?src=SDtest


Kruschke 在本文中提供了贝叶斯 t 检验的替代方法(可能是更现代的方法)(带有代码):

克鲁施克,JK(2013 年)。贝叶斯估计取代了 t 检验实验心理学杂志:一般,142(2),573-603。doi:10.1037/a0029146


这个答案的所有道具(在添加 Kruschke 之前)都应该交给我的同事 David Kellen。我从这个问题中偷走了他的答案

按照 Thylacoleo 的回答,我做了一些研究。

R中的等价包具有该tost()功能。

有关详细信息,请参阅 Robinson 和 Frose (2004)“使用等价检验的模型验证”。

我知道有几篇论文可能对你有帮助:

特赖恩,WW (2001)。使用推论置信区间评估统计差异、等价性和不确定性:一种进行零假设统计检验的综合替代方法。心理学方法,6,371-386。免费PDF

更正:
Tryon, WW, & Lewis, C. (2008)。建立校正 Tryon (2001) 缩减因子的统计等价的推理置信区间方法。心理方法, 13, 272-278。免费PDF

此外:

Seaman, MA & Serlin, RC (1998)。两组均值比较的等价置信区间心理学方法,第 3(4)卷,403-411。