假设您有一个性能良好的回归模型，但最终结果还不止于此。

我遇到的一个提高模型性能的想法是使用第一个模型的残差（y - y_pred）在顶部构建第二个模型。该模型将假设了解第一个模型对哪些观察结果预测过高或预测过低。然后，第二个模型的结果将与第一个模型一起用于改进预测。

有没有人尝试将其实施到回归任务中？是否有任何我想念的资源成功实现了这一点？

以下是我的一些问题：

• 第二个模型是否应该只对残差进行训练？还是残差+特征？
• 在 a 中实现这一点的总体最佳实践应该是什么sklearn pipeline？