损失函数并不总是与观察结果相加：损失函数是估计器（或预测器）和它正在估计（预测）的事物的函数。损失函数通常（但不总是）是距离函数。此外，估计量（预测量）有时但不总是涉及涉及单个观察的项的总和。一般来说，损失函数并不总是具有与观察结果相加的形式。对于预测问题，由于损失函数的形式，会出现与这种形式的偏差。对于估计问题，要么是因为损失函数的形式，要么是因为损失函数中出现的估计量的形式。

要查看预测问题的损失形式的一般性，请考虑我们有观察数据的一般情况$\mathbf{y} = (y_1,...,y_n)$我们想预测可观察向量$\mathbf{y}_* = (y_{n+1},...,y_{n+k})$使用预测器$\hat{\mathbf{y}}_* = \mathbf{H}(\mathbf{y})$. 我们可以将这个预测问题的损失写成：

$$L(\hat{\mathbf{y}}_*, \mathbf{y}_*) = L(\mathbf{H}(\mathbf{y}), \mathbf{y}_*).$$

您问题中的损失函数是预测向量和观测数据向量之间的欧几里得距离，即$L(\hat{\mathbf{y}}_*, \mathbf{y}_*) = ||\hat{\mathbf{y}}_* - \mathbf{y}_*||^2 = \sum_i (\hat{y}_{*i} - y_{*i})^2$. 该特定形式由涉及被预测的观察值的项的总和组成，因此在这种情况下可加性属性成立。但是，还有许多其他损失函数示例会产生不具有这种可加性属性的形式。

观察中不相加的两个损失函数的一个简单示例是，当损失等于最佳预测或最差预测的预测误差时。在“最佳预测损失”的情况下，我们有损失函数$L(\hat{\mathbf{y}}_*, \mathbf{y}_*) = \min_i |\hat{y}_{*i} - y_{*i}|$，并且在“来自更差预测的损失”中，我们有损失函数. 在任何一种情况下，损失函数都不是单个项的加法。$L(\hat{\mathbf{y}}_*, \mathbf{y}_*) = \max_i |\hat{y}_{*i} - y_{*i}|$

损失函数有两个最常见的原因是总和/平均值。

首先，您可以简单地将损失定义为某个指标的平均值。它与风险最小化的概念有关。

第二个原因是您使用了最大似然法或相关的东西，例如最大后验概率。可加性来自最大似然求解的事实

$$\arg\max_{\theta} P_{\theta}(Dataset) = \arg\max_{\theta} \prod_{x \in Dataset} P_{\theta}(x)$$

等于

$$\arg\min_{\theta} \sum_{x \in Dataset} -log(P_{\theta}(x)).$$

例如，如果是高斯分布，您将得到完全均方误差。$P_{\theta}$