我正在使用 AIC(Akaike 的信息准则)来比较 R 中的非线性模型。比较不同类型模型的 AIC 是否有效?具体来说,我将 glm 拟合的模型与 glmer (lme4) 拟合的随机效应项的模型进行比较。
如果没有,有没有办法进行这样的比较?还是这个想法完全无效?
我正在使用 AIC(Akaike 的信息准则)来比较 R 中的非线性模型。比较不同类型模型的 AIC 是否有效?具体来说,我将 glm 拟合的模型与 glmer (lme4) 拟合的随机效应项的模型进行比较。
如果没有,有没有办法进行这样的比较?还是这个想法完全无效?
这取决于。AIC 是对数似然的函数。如果两种类型的模型都以相同的方式计算对数似然(即包括相同的常数),那么可以,如果模型是嵌套的。
我有理由确定这一点,glm()
并且lmer()
不使用可比较的对数可能性。
关于嵌套模型的观点也有待讨论。有人说 AIC 仅对嵌套模型有效,因为这就是理论的呈现/工作方式。其他人将其用于各种比较。
这是一个很好的问题,我一直很好奇。
对于同一族中的模型(即 k 阶或多项式的自回归模型),AIC/BIC 很有意义。在其他情况下,它不太清楚。准确计算对数似然(使用常数项)应该可行,但使用更复杂的模型比较(例如贝叶斯因子)可能更好(http://www.jstor.org/stable/2291091)。
如果模型具有相同的损失/错误函数,另一种选择是仅比较交叉验证的对数似然。当我不确定 AIC/BIC 在某种情况下是否有意义时,我通常会尝试这样做。
请注意,在某些情况下,AIC 甚至无法比较相同类型的模型,例如具有不同差分顺序的 ARIMA 模型。引用预测: Rob J Hyndman 和 George Athanasopoulos 的原则和实践:
需要注意的是,这些信息标准往往不能很好地指导选择模型的适当差分顺序 ( ),而仅用于选择和的值。这是因为差分改变了计算似然性的数据,使得具有不同差分阶数的模型之间的 AIC 值不具有可比性。所以我们需要使用其他一些方法来选择,然后我们可以使用 AICc 来选择和。