将非嵌套模型与 AIC 进行比较

机器算法验证 r 混合模式 aic lme4-nlme 嵌套模型
2022-02-15 04:54:44

假设我们必须使用 GLMM

mod1 <- glmer(y ~ x + A + (1|g), data = dat)
mod2 <- glmer(y ~ x + B + (1|g), data = dat)

这些模型不是通常意义上的嵌套:

a <- glmer(y ~ x + A + (1|g),     data = dat)
b <- glmer(y ~ x + A + B + (1|g), data = dat)

所以我们不能anova(mod1, mod2)像我们想要的那样做anova(a ,b)

我们可以用 AIC 来说明哪个是最好的模型吗?

3个回答

AIC 可以与非嵌套模型一起应用。事实上,这是关于 AIC 的最广泛的神话(误解?)之一。看:

您必须注意的一件事是包含所有规范化常量,因为这些对于不同的(非嵌套)模型是不同的:

也可以看看:

在 GLMM 的上下文中,一个更微妙的问题是用于比较此类模型的 AIC 的可靠性(另见@BenBolker's)。AIC 的其他版本在以下论文中进行了讨论和比较:

作为参考,一个反驳:Brian Ripley 在“在大类模型中进行选择”第 6-7 页中指出

关键假设 ...模型是嵌套的(脚注:参见 Akaike (1973) 再版中第 615 页的底部)。– AIC 在不使用时被广泛使用

相关段落(也是 Akaike 的另一次重印的第 204 页),我认为以“统计模型识别的问题通常被表述为 ) ... 的选择问题”这句话开头)在这里不太可用我正在寻找该论文的 PDF,以便我可以在此处引用该段落...f(x|kθ

(我在下面引用了它,虽然老实说,在这一点上我看不出它如何支持 Ripley 的观点——它当然讨论了嵌套模型上下文中的推导但是...... ???)

Ripley, BD 2004。“在大型模型中进行选择”。统计方法和模型中,由 N. Adams、M. Crowder、D. J Hand 和 D. Stephens 编辑,155-70。英国伦敦:帝国理工学院出版社。

Akaike, H. (1973) 信息论和最大似然原理的扩展。第二届信息论国际研讨会(BN Petrov 和 F. Cáski 编),第 267-281 页,布达佩斯。学界凯多。转载于统计突破 ,编辑 Kotz,S。& Johnson, NL (1992),第一卷,第 599-624 页。纽约:斯普林格。

作为参考,另请参阅MathOverflow 上的这篇文章


Akaike et al 1973 pp. 204ff 的较长段落

Akaike 似乎认为 AIC 是比较非嵌套模型的有用工具。

“关于 AIC 的一个重要观察是,它的定义没有具体参考真实模型 [f(x|kθ)]。因此,对于任何有限数量的参数模型,我们总是可以考虑一个扩展模型,该模型将扮演以下角色[ f(x|kθ) ] 这表明 AIC 至少在原则上可以用于比较非嵌套模型,即常规对数似然比检验不适用的情况。

(赤池 1985,第 399 页)

赤池,广图。“预测和熵。” Hirotugu Akaike 的论文选集。施普林格,纽约,纽约,1985。387-410。