我正在执行具有 1 个响应变量和 6 个协变量的泊松回归模型。使用 AIC 进行模型选择会产生一个具有所有协变量以及 6 个交互项的模型。然而,BIC 会产生一个只有 2 个协变量且没有交互项的模型。这两个看起来非常相似的标准是否有可能产生完全不同的模型选择?
AIC 和 BIC 是否有可能给出完全不同的模型选择?
机器算法验证
模型选择
aic
泊松回归
比克
2022-02-08 16:23:25
2个回答
确实有可能。正如https://methodology.psu.edu/AIC-vs-BIC中所解释的,“BIC 对模型复杂性的惩罚更大。他们不同意的唯一方法是 AIC 选择比 BIC 更大的模型。”
如果您的目标是确定一个好的预测模型,您应该使用 AIC。如果您的目标是确定一个好的解释模型,您应该使用 BIC。Rob Hyndman 在
https://robjhyndman.com/hyndsight/to-explain-or-predict/上很好地总结了这一建议:
“AIC 更适合用于预测的模型选择,因为它渐近地等效于回归中的留一法交叉验证,或时间序列中的一步交叉验证。另一方面,可能有人认为BIC 更适合用于解释的模型选择,因为它是一致的。”
该建议来自 Galit Shmueli 的论文“To explain or to predict?”, Statistical Science, 25(3), 289-310 ( https://projecteuclid.org/euclid.ss/1294167961 )。
附录:
还有第三种建模类型 - 描述性建模 - 但我不知道任何关于 AIC 或 BIC 哪个最适合识别最佳描述性模型的参考资料。我希望这里的其他人可以加入他们的见解。
简短的回答:是的,很有可能。两者根据估计参数的数量应用不同的惩罚(AIC 为 2k,BIC 为 ln(n) xk,其中 k 是估计参数的数量,n 是样本大小)。因此,如果添加参数的似然增益很小,BIC 可能会为 AIC 选择不同的模型。然而,这种影响取决于样本量。
其它你可能感兴趣的问题