使用任何线性模型（多项式回归是具有多项式特征的线性模型的特例）的问题在于，线性模型的集合仍然是线性模型。因此，由增强多项式回归和单多项式回归给出的要优化的模型族是相同的。

这不会发生在树上，因为树的集合不能再表示为树，所以这就是树在 gbms 的上下文中更多使用的原因。

任何机器学习算法都可以用作梯度提升的弱学习器。某些算法会更好，某些算法会更差。

线性回归试图最小化平方误差之和 (SSE)。第一个线性回归模型可能不会为后续线性回归模型的拟合留下任何错误，因此在这种情况下梯度提升将没有优势。