假设我们已经训练了一个回归模型 $M$ 在一组固定的 $n$ 特征， $F_1,F_2,…,F_n$ 在特定数据集上 $G$. 现在假设在模型训练之后，附加特征（$F_{n+1},…$) 可用于子集 $H\subset G$.

结合这些特征来改进对子集的预测的最佳方法是什么 $H$?

我可以想到一些可能的解决方案：

• 训练一个新模型 $N$ 在数据集上 $G$ 其中新功能为空 $G \setminus H$. 这在以下情况下可能很有用$|H| \ll |G|$.
• 训练一个新模型 $N$ 在数据集上 $H$，忽略旧模型和（有用的）训练数据 $G \setminus H$.
• 训练子模型 $M'$， 使用 $M$ 作为起点，关于新功能（$F_{n+1},…$）。这样做的好处是不会放弃事先完成的有用培训。

对我来说，最后一个选项似乎是最好的解决方案。不幸的是，我找不到任何文献做这种事情。这取决于模型的类型吗？还是训练一个新模型更好？