回归问题中的响应变量，, 使用数据矩阵建模.
在符号上，这意味着：
~
然而，可以分离成可以独立建模的不同组件。
在什么条件下会，整体预测，有更好或更差的表现，单个模型的总和？
为了提供更多背景信息，使用的模型是 GBM。我惊讶地发现为特定的训练模型 导致与使用整体模型大致相同的性能 预测 . 这是高度相关的。事后看来，这并不奇怪，因为为与目标相关的向量训练模型也与目标相关。
为了类比，以线性模型和独立响应变量为例。
整体模型为
不难看出，模型的总和就是总和的模型。
如果 是独立的，那么 也会如此。这意味着每个模型系数都将保持不变。以二维情况为例（其中 有两列）。
为了 ,
这两个模型通常不等效，它们可能会提供相似的结果。这里有多个问题。你实际上拥有什么是这样的：
在哪里和是您想要近似的真实函数，并且和是错误/噪音。
一个问题是如何拆分输出成组件。假设你有关于组件的知识你把它分成更简单的函数，这些函数更容易独立适应。但是在实践中，您有一个样本并且每个观察都有错误，您还必须拆分错误分量，这并不容易，因为大多数时候使用的假设是错误至少是独立的，如果不是相同的分布也是如此。
第二个是模型的方差。与你所说的线性方程类比
好吧，这实际上仅在期望上才是正确的，也就是：
但是您的预测也存在差异，这会使您远离真正的功能。如果我们假设每个分量的噪声是相互独立的，则方差会累积，从而为求和模型提供膨胀的方差
如果组件错误不是独立的，那么您还可以将协方差添加到问题中，您很容易陷入困境。
作为一个结论，如果您对每组有三组观察结果比将它们分开而不是相加通常更好。但是，如果您拥有汇总的数据集，那么拆分数据通常会困难得多，并且结果更有可能变得更加不稳定，即使期望您有相同的目标。