如何为集成模型构建自学习过程?

数据挖掘 机器学习 Python 集成建模 集成学习
2022-02-22 07:22:28

我有两个不同的(回归)模型,每天都会对同一个因变量进行预测。我的意图是为这两个预测分配权重并计算加权平均值。为此,我开发了一个简单的系统,每天计算模型的 MSE 并将其用作权重。因此,模型的 MSE 越高,分配给模型的权重就越低。但是,这是一种非常蹩脚的方法,与对预测进行简单平均相比,我没有观察到任何改进。那么我可以使用哪些方法为这些预测动态分配权重。也就是说,我想每天更新权重。我应该从哪里开始?

注意:我知道使用集成模型,我可以自动获得权重(即 H2O 堆叠集成)。但是,我不允许每天重新训练预测。因此,应用集成方法并每天重新训练它不适用于我的情况。

提前致谢!

1个回答

它并没有你想象的那么复杂,但你可以尝试训练一个线性回归(在在线设置中,通过随机梯度下降),其输入是你的模型吐出的预测,输出是预测变量的真实值. 在这种情况下,您不需要使用整个数据集重新训练。

事实上,我认为所有在线机器学习技术都可以应用在这种环境中。