假设我们的响应是并且我们的预测值是。$y_1, \dots, y_n$$\hat y_1, \dots, \hat y_n$

样本方差（为简单起见使用而不是）是而 MSE 是。因此，样本方差给出了响应围绕均值变化的程度，而 MSE 给出了响应围绕我们的预测变化的程度。如果我们认为整体均值是我们曾经考虑过的最简单的预测变量，那么通过将 MSE 与响应的样本方差进行比较，我们可以看到我们用模型解释了多少变化。这正是值在线性回归中的作用。$n$$n-1$$\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2$$\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2$$\bar y$$R^2$

的样本方差是水平线周围的变异性。如果我们将所有数据投影到轴上，我们可以看到这一点。MSE 是回归线的均方距离，即回归线周围的可变性（即）。因此，由样本方差测量的变异性是到水平线的平均平方距离，我们可以看到它远远大于到回归线的平均平方距离。 $y_i$$Y$$\hat y_i$

在没有更好的信息的情况下，目标变量的平均值可以被认为是对目标变量值的简单估计，无论是试图对现有数据建模还是试图预测未来值。这种对目标变量的简单估计（即，预测值都等于目标变量的平均值）会因一定的误差而偏离。测量平均误差的标准方法是标准偏差 (SD)，，因为 SD如果目标变量是正态分布的，则具有拟合钟形（高斯）分布的良好特性。因此，SD 可以被认为是目标变量估计中自然发生的误差量。$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \bar y)^2}$这使其成为任何模型都需要尝试超越的基准。

有多种方法可以测量模型估计的误差；其中，您提到的均方根误差 (RMSE)是最受欢迎。它在概念上与 SD 非常相似：它不是测量实际值与平均值的差距，而是使用基本相同的公式来测量实际值与模型对该值的预测之间的差距。平均而言，一个好的模型应该比所有预测的平均值的朴素估计有更好的预测。因此，变异测量 (RMSE) 应该比 SD 更好地降低随机性。$\sqrt{\frac{1}{n} \sum_{i=1}^n (y_i - \hat y_i)^2}$

这个论点适用于其他误差度量，不仅适用于 RMSE，而且 RMSE 对于与 SD 的直接比较特别有吸引力，因为它们的数学公式是类似的。

编辑：

有人离线向我询问支持 SD 作为 RMSE 基准的想法的引文。就个人而言，我首先从 Shmueli 等人那里学到了这个原则。2016. 对不起，我手头没有这本书，所以我不能引用页码。

Shmueli, G., Bruce, PC, Stephens, M., & Patel, NR (2016)。用于业务分析的数据挖掘：使用 JMP Pro （第 3 版）的概念、技术和应用。威利。

如果您谈论的是预测的均方误差，则可以是：

$$\frac{\sum_i(y_i-\hat{y}_i)^2}{n-p},$$ 取决于为预测估计了多少 ( p ) 参数，即自由度 (DF) 的损失。

样本方差可以是：

$$\frac{\sum_i(y_i - \bar{y}) ^2}{n-1},$$ 在哪里$\bar{y}$只是平均值的估计量$y_i$.

因此，您可以将后一个公式（样本方差）视为前一个（MSE）的特例，其中$\hat{y}_i = \bar{y}$并且 DF 的损失为 1，因为平均计算$\bar{y}$是一个估计。

或者，如果你不太关心如何$\hat{y}_i$是预测的，但是想要在你的模型上得到一个大概的 MSE，你仍然可以使用下面的公式来估计它，

$$\frac{\sum_i(y_i-\hat{y}_i)^2}{n},$$

这是最容易计算的。