模型相关时的 AIC 模型平均

机器算法验证 预测模型 aic 堆叠 模型平均 泛化错误
2022-03-27 07:27:24

AIC 模型平均:在“标准”AIC 模型平均中,我们对权重与 其中是模型 AIC 与最佳(就 AIC 而言)模型的差异。

wiexp(0.5×ΔAICi),
ΔAICi

我注意到的是,当某些模型高度相关时,就新的未见数据的预测误差而言,这似乎效果不佳。

示例:让我们举一个夸张的极端情况。假设我们有模型 1 和模型 2,并且都具有相同的 AIC。因此,现在,我们介​​绍与模型 1 实际相同(或极其相似)的其他模型 1a、1b 和 1c。如果我们盲目地应用上面的公式,我们最终会得到 , , ,然而,我们真正应该做的是 , , ,w1=0.5w2=0.5w1=0.2w1a=0.2w1b=0.2w1c=0.2w2=0.2w1=0.125w1a=0.125w1b=0.125w1c=0.125w2=0.5

问题:您是否知道一些简单的结果,例如查看模型预测的相关性(或其他一些考虑因素)以在决定模型平均权重时考虑模型的“相似性”?

万一这很重要,我主要是在预测模型的背景下询问。即我并不真正关心选择单个真实模型或确定某些协变量的“独立”效应,但主要希望对来自相同数据生成机制的新的看不见的数据具有良好的预测性能。

我的想法/调查:我没有找到任何讨论 AIC 模型平均的文献,这似乎是一个相当明显的问题,所以我可能错过了一些东西。

我想到的一件事是进行 k 折交叉验证并对折外预测进行非负回归以确定模型权重,但这比 AIC 模型平均要复杂得多。因此,我对是否有我错过的关于这个主题的任何工作感兴趣。

1个回答

据我所知,文献中不存在对贝叶斯模型平均中的权重进行这种修改以考虑模型之间的相似性(或其他关系)。根据我的说法,主要原因是您提出的问题(并且您在示例中很好地说明了这一点)应该在模型选择级别而不是在模型平均级别进行纠正。

据我所知,模型的“相似性”特征并不存在,而且无论如何都难以定义。即使像“嵌套”这样简单且广泛使用的概念在文献(参考)中也缺乏严格的定义(尽管我们在最近的这篇论文中提出了定义)。不同的模型可能具有相同的预测,但它们的结构和性质却大不相同。如果一个现象学模型、一个规范模型和一个物理模型都同意相同的预测,那么该预测的证据就非常高,并且这些模型“应该”在你的模型平均中具有重要的权重(即使它们具有相同的预测)。

在您的示例中,问题出在模型的选择上,而不是平均本身。模型 1、1a、1b、1c、2 的系列定义不明确:就像只对一小部分人口(模型 1 周围)进行抽样,这将导致结果有偏差。但是,除了启发式地检查您提出的模型系列是否合理之外,我认为(还)不存在避免这种陷阱的定量标准或方法。