似然比与沃尔德检验

机器算法验证 r 回归 似然比
2022-03-14 13:42:35

根据我一直在阅读的内容,在加州大学洛杉矶分校统计咨询组似然比测试和 wald 测试网站上的其他内容中,在测试两个 glm 模型是否显示出对数据集的拟合显着差异时非常相似(请原谅我的措辞可能有点偏)。本质上,我可以比较两个模型并测试第二个模型是否显示出比第一个模型更好的拟合,或者模型之间没有差异。

因此,对于相同的回归模型,LR 和 Wald 检验应该显示相同的大致 p 值。至少应该得出同样的结论。

现在我在 R 中对同一个模型进行了两次测试,得到了截然不同的结果。以下是 R 对一个模型的结果:

> lrtest(glm(data$y~1),glm(data$y~data$site_name,family="poisson"))
Likelihood ratio test

Model 1: data$y ~ 1
    Model 2: data$y ~ data$site_name
      #Df  LogLik Df  Chisq Pr(>Chisq)    
    1   2 -89.808                         
    2   9 -31.625  7 116.37  < 2.2e-16 ***
    ---
    Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
    > lrtest(glm(data$y~1,family="poisson"),glm(data$y~data$site_name,family="poisson"))
Likelihood ratio test

Model 1: data$y ~ 1
    Model 2: data$y ~ data$site_name
      #Df  LogLik Df  Chisq Pr(>Chisq)    
    1   1 -54.959                         
    2   9 -31.625  8 46.667  1.774e-07 ***
    ---
    Signif. codes:  0 ‘***’ 0.001 ‘**’ 0.01 ‘*’ 0.05 ‘.’ 0.1 ‘ ’ 1
    > waldtest(glm(data$y~data$site_name,family="poisson"))
Wald test

Model 1: data$y ~ data$site_name
Model 2: data$y ~ 1
      Res.Df Df      F Pr(>F)
    1     45                 
    2     53 -8 0.7398 0.6562
    > waldtest(glm(data$y~1,family="poisson"),glm(data$y~data$site_name,family="poisson"))
Wald test

Model 1: data$y ~ 1
    Model 2: data$y ~ data$site_name
  Res.Df Df      F Pr(>F)
1     53                 
2     45  8 0.7398 0.6562

关于数据,data $ y 包含计数数据,data $ site_name 是一个有 9 个级别的因子。数据$ y中有 54 个值,每级数据$ site_name 有 6 个值。

以下是频率分布:

> table(data$y)

 0  2  4  5  7 
50  1  1  1  1 
> table(data$y,data$site_name)

    Andulay Antulang Basak Dauin Poblacion District 1 Guinsuan Kookoo's Nest Lutoban Pier Lutoban South Malatapay Pier
  0       6        6     6                          4        6             6            6             5              5
  2       0        0     0                          0        0             0            0             1              0
  4       0        0     0                          1        0             0            0             0              0
  5       0        0     0                          0        0             0            0             0              1
  7       0        0     0                          1        0             0            0             0              0

现在,由于零计数的巨大过度分散,该数据不能很好地拟合泊松分布。但是对于另一个模型,其中数据$ y>0 非常适合泊松模型,并且在使用零膨胀泊松模型时,我仍然得到非常不同的 wald 测试和 lrtest 结果。wald 检验显示 p 值为 0.03,而 lrtest 的 p 值为 0.0003。尽管结论可能相同,但仍然存在 100 倍的差异。

那么我在这里对似然比与 waldtest 的理解有什么错误?

3个回答

值得注意的是,尽管研究人员使用似然比检验和 Wald 检验来实现相同的经验目标,但它们正在检验不同的假设似然比检验评估数据是否可能来自更复杂的模型,而不是更简单的模型。换句话说,添加特定效果是否允许模型解释更多信息。相反,Wald 检验评估估计效应是否可能为零。可以肯定的是,这是一个微妙的差异,但仍然是一个重要的概念差异。

Agresti (2007) 对比似然比检验、Wald 检验和称为“分数检验”的第三种方法(他几乎没有进一步详细说明该检验)。从他的书中(第 13 页):

当样本量从小到中等时,Wald 检验是三个检验中最不可靠的。对于这个例子中的这么小的 n,我们不应该相信它(n = 10)。就接近匹配名义水平的实际错误概率而言,似然比推理和基于分数测试的推理更好。三个统计值的显着差异表明 ML 估计量的分布可能远离正态性。在这种情况下,小样本方法比大样本方法更合适。

查看您的数据和输出,您似乎确实有一个相对较小的样本,因此可能希望在似然比检验结果与 Wald 检验结果之间放置更多库存。

参考

Agresti, A. (2007)。分类数据分析导论(第 2 版)新泽西州霍博肯:约翰威利父子公司。

首先,我有点不同意 jsakaluk 的回答,即这两个测试正在测试不同的东西——它们都在测试较大模型中的系数是否为零。他们只是通过做出不同的近似来测试这个假设(参见下面链接的文章)。

关于他们的结果之间的差异,正如 jsakaluk 所说,这可能是由于样本量小/对数似然远不是二次的。我在 2014 年写了一篇博文,其中介绍了一个简单的二项式模型,这可能会有所帮助:http ://thestatsgeek.com/2014/02/08/wald-vs-likelihood-ratio-test/

这两个检验是渐近等价的。当然,它们在有限样本中的性能(大小和功率)可能会有所不同。要了解差异,您可以做的最好的事情是对与您类似的环境进行蒙特卡洛研究。