我经常发现自己在 R 中训练了几个不同的预测模型caret。我将在相同的交叉验证折叠上训练它们，使用caret::: createFolds，然后根据交叉验证的错误选择最佳模型。
但是，来自多个模型的中值预测通常优于独立测试集上的最佳单个模型。我正在考虑编写一些函数来堆叠/集成插入符号模型，这些模型使用相同的交叉验证折叠进行训练，例如通过从每个模型的每个折叠中获取中值预测，或者通过训练“元模型”。
当然，这可能需要一个外部交叉验证循环。有谁知道用于集成插入符号模型（并可能交叉验证这些集成）的任何现有包/开源代码？
看起来 Max Kuhn 实际上开始研究用于集成插入符号模型的包，但还没有时间完成它。这正是我一直在寻找的。我希望这个项目有一天能完成！
编辑：我写了自己的包来做到这一点：caretEnsemble
您正在寻找的东西称为“模型合奏”。可以在此处找到带有 R 代码的简单介绍性教程：http: //viksalgorithms.blogspot.jp/2012/01/intro-to-ensemble-learning-in-r.html
我不太确定您在寻找什么，但这可能会有所帮助： http: //www.jstatsoft.org/v28/i05/paper
这是如何在插入符号中使用多个模型。您可能感兴趣的部分是 pg 的第 5 节。13.