为什么对于小样本量,精确检验优于卡方检验?

机器算法验证 机器学习 分布 数理统计 统计学意义 卡方检验
2022-03-10 05:15:58

我知道,如果您的预期值在列联表中较低,则在尝试测试组的同质性时,诸如费舍尔精确检验之类的检验有时比卡方更可取(历史上人们建议使用 5,尽管有些人似乎认为这是保守的) .

但是,我似乎无法解释为什么卡方不适用于小样本量。因此,我有两个问题:

  1. 是什么导致列联表中的期望值随着样本量的减少而变小?(我在这里假设小的期望值是小样本量的结果)。
  2. 为什么卡方检验不应用于小样本量?我见过人们说它不能充分近似理论上的卡方分布,但有人可以解释为什么/如何不能吗?
1个回答

在经典假设检验中,您有一个检验统计量,该统计量将证据从最有利于原假设的证据排序到最有利于备择假设的证据。(不失一般性,假设该统计量的较高值更有利于备择假设。)检验的p 值是观察证据的概率至少与您实际观察到的一样有利于备择假设(在零假设为真的假设下,检验统计量至少与观察值一样大。这是根据检验统计量的零分布计算得出的,这是在零假设为真的假设下的分布。

现在,“精确检验”是一种精确计算 p 值的检验——即,它从检验统计量的真实零分布中计算出来。在许多统计测试中,真正的零分布是复杂的,但它可以用另一个分布来近似,并且它会收敛到那个近似分布为特别是,所谓的“卡方检验”是假设检验,其中真实的零分布收敛到卡方分布。n

因此,在这种“卡方检验”中,当您使用卡方分布计算检验的 p 值时,这只是真实 p 值的近似值检验的真实 p 值由精确检验给出,您正在使用检验统计量的近似空分布来近似该值。较大时,此近似值非常好,但当较小时,近似值可能很差。很小时,统计学家反对使用“卡方检验”(即,使用卡方逼近真实的零分布) 。nnn


列联表中独立性的卡方检验:现在我将检查您与卡方检验相关的具体问题,以测试列联表中的独立性。在这种情况下,如果我们有一个列联表,其中观察到的计数总和为,那么测试统计量就是 Pearson 统计量:O1,...,OKnOi

χ2=i=1K(OiEi)2Ei,

其中是原假设下的预期单元格值。 这里首先要注意的是观察到的计数是非负整数。对于任何,这将检验统计量的可能值限制为一组有限的可能值,因此其真正的零分布将是这组有限值上的离散分布。请注意,卡方分布不可能是真正的零分布,因为它是所有非负实数的连续分布——(不可数的)无限组值。E1,...,EKO1,...,OKn<

与其他“卡方检验”一样,这里的检验统计量的零分布很好地近似于很大时的卡方分布。您说这是未能“充分近似理论卡方分布”的问题是不正确的——相反,理论卡方分布是近似值,而不是真正的零分布。只要的值都不小,卡方近似就很好。值,这些预期值较小的原因是,当您的总计数值较低时,您必须预期至少某些单元格中的计数较低。nE1,...,EKn


对于列联表的分析,这些预期的单元格计数是通过在独立的零假设下对边际总数进行调节而获得的。我们没有必要对这些值进行任何进一步的详细说明。