AIC 模型平均:在“标准”AIC 模型平均中,我们对权重与
其中是模型 AIC 与最佳(就 AIC 而言)模型的差异。
我注意到的是,当某些模型高度相关时,就新的未见数据的预测误差而言,这似乎效果不佳。
示例:让我们举一个夸张的极端情况。假设我们有模型 1 和模型 2,并且都具有相同的 AIC。因此,和。现在,我们介绍与模型 1 实际相同(或极其相似)的其他模型 1a、1b 和 1c。如果我们盲目地应用上面的公式,我们最终会得到 , , ,和。然而,我们真正应该做的是 , , ,和。
问题:您是否知道一些简单的结果,例如查看模型预测的相关性(或其他一些考虑因素)以在决定模型平均权重时考虑模型的“相似性”?
万一这很重要,我主要是在预测模型的背景下询问。即我并不真正关心选择单个真实模型或确定某些协变量的“独立”效应,但主要希望对来自相同数据生成机制的新的看不见的数据具有良好的预测性能。
我的想法/调查:我没有找到任何讨论 AIC 模型平均的文献,这似乎是一个相当明显的问题,所以我可能错过了一些东西。
我想到的一件事是进行 k 折交叉验证并对折外预测进行非负回归以确定模型权重,但这比 AIC 模型平均要复杂得多。因此,我对是否有我错过的关于这个主题的任何工作感兴趣。