模型平均方法——平均系数估计与模型预测?

机器算法验证 混合模式 模型平均 预测组合
2022-03-16 22:22:30

我有一个关于使用 IT 标准对候选集中的模型进行加权的模型平均方法的基本问题。

我读过的关于模型平均的大多数资料都提倡根据模型权重对参数系数估计值进行平均(使用“自然平均”或“零平均”方法)。但是,我的印象是,基于模型权重对每个模型的预测进行平均和加权,而不是参数系数估计,是一种更直接和合理的方法,特别是在将模型与非嵌套预测变量进行比较时。

关于哪种模型平均方法最合理(平均加权参数估计与加权预测)是否有明确的指导?此外,在混合模型的情况下,系数估计的模型平均是否有进一步的复杂性?

1个回答

在线性模型中,跨系数平均将为您提供与跨预测平均的预测值相同的预测值,但传达更多信息。许多论述涉及线性模型,因此跨系数平均。

您可以使用一些线性代数来检查等价性。说你有T观察和N预测器。你把后者聚集在T×N矩阵X. 你也有M模型,每个模型分配一个系数估计βmN预测器。将这些系数估计值堆叠在N×M矩阵β. 平均意味着您分配权重wm对每个模型m(权重通常为非负数且总和为 1)。将这些权重放入向量中w长度M.

每个模型的预测值由下式给出y^m=Xβm, 或者, 在堆积符号中

y^=Xβ
跨预测平均的预测值由下式给出
y^w=(Xβ)w
相反,当您对系数估计值进行平均时,您计算
βw=βw
平均系数的预测值由下式给出
Xβw=X(βw)
两种方法的预测值之间的等价性来自于矩阵乘积的关联性。由于预测值相同,您也可以只计算系数的平均值:这为您提供了更多信息,以防您想查看各个预测变量的系数。

在非线性模型中,等价性通常不再成立,在那里,对预测进行平均确实有意义。例如,此处总结了有关跨预测(预测组合)平均的大量文献。