机器算法验证 - MSE 的正确公式 - 吾爱随笔录

机器算法验证回归线性的

2022-03-15 03:33:27

到目前为止，在我的整个学生生活中，我一直认为均方误差由下式计算 $MSE=\frac{1}{n}\sum(Y_i-\hat{Y}_i)^2$ . 但是，我今天正在查看我的一个统计模型，幻灯片中指出

这意味着 $MSE=\frac{1}{n-2}\sum(Y_i-\hat{Y}_i)^2$ 自从 $SSE=\sum(Y_i-\hat{Y}_i)^2$ .

在对此进行研究后，我在维基百科上找到了以下描述：

均方误差有时用于指误差方差的无偏估计：残差平方和除以自由度数。已知计算量的此定义与上述预测变量的计算 MSE 的定义不同，因为使用了不同的分母。

我想知道是否有正确的定义，或者这里的 2 个 MSE 实际上指的是完全不同的概念？我该如何理解差异的原因？

2个回答

两者都是正确的。正如 blooraven (+1) 所说，这与样本方差的无偏估计器中的校正类型相同。第二个公式用于线性回归校正自由度的数量。

请注意，第二个公式并非在每种情况下都有意义。某些模型可以使用比样本更多的特征，因此分母为零或负数。在非参数模型，甚至一些参数模型（神经网络）中，可能很难说有多少度以及它们到底是什么。因为在机器学习中，为了比较不同的模型，你几乎总是会看到第一个公式的分母很简单 $n$ .

假设幻灯片正在讨论具有一个输入变量的线性回归，即

y_{i} = β_{0} + β_{1} x_{i} + ε_{i}

$y_i = \beta_0 + \beta_1 x_i + \varepsilon_i$ ，MSE的正确公式是：

MSE = \frac{1}{n - 2} \sum_{i = 1}^{n} (Y_{i} - {\hat{Y}}_{i})^{2} .

$\operatorname{MSE} = \frac{1}{n-2} \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 \ .$ 重申一下，对于只有一个输入变量的线性模型的特定情况，分母必须是

n - 2

$n-2$ .

在更一般的情况下，当您有一个线性模型时 $k$ 输入变量是：

y_{i} = β_{0} + β_{1} x_{1 i} + β_{2} x_{2 i} + \dots + β_{k} x_{k i} + ε_{i},

$y_i = \beta_0 + \beta_1 x_{1i} + \beta_2 x_{2i} + \dots + \beta_k x_{ki} + \varepsilon_i \ ,$ 那么 MSE 将是：

MSE = \frac{1}{n - (k + 1)} \sum_{i = 1}^{n} (Y_{i} - {\hat{Y}}_{i})^{2} .

$\operatorname{MSE} = \frac{1}{n-(k+1)} \sum_{i=1}^{n} (Y_i - \hat{Y}_i)^2 \ .$

我不知道分母是什么模型 $n$ . 通常，分母为 $n$ 只有当我们知道总体参数时才有可能 $\beta_j$ ，在这种情况下，我们计算的是真实的残差方差，而不是估计残差方差。

其它你可能感兴趣的问题