机器算法验证 - 与残差平方和和总平方和混淆 - 吾爱随笔录

机器算法验证方差残差

2022-03-02 10:52:34

来自维基百科：https : //en.wikipedia.org/wiki/Residual_sum_of_squares，RSS 是真实值和预测值之间的平均平方误差。 $y$ $\hat y$

然后根据：https ://en.wikipedia.org/wiki/Total_sum_of_squares ，TSS 是真实值与所有的平均值之间的平方误差。 $y$ $y$

但是，在 TSS 的解释下，我不明白这一行：

[...] 总平方和等于解释的平方和加上残差平方和。

如果我们在图表上绘制 RSS，它看起来像：

TSS 图：

ESS剧情：

根据图像，残差（无法解释的）值实际上大于 TSS。有什么我不关注的吗？

2个回答

您的平方和为 $\displaystyle \sum_i ({y}_i-\bar{y})^2$

你可以写成 $\displaystyle \sum_i ({y}_i-\hat{y}_i+\hat{y}_i-\bar{y})^2$

即其中 $\displaystyle \sum_i ({y}_i-\hat{y}_i)^2+2\sum_i ({y}_i-\hat{y}_i)(\hat{y}_i-\bar{y}) +\sum_i(\hat{y}_i-\bar{y})^2$

由于您有平方和，它们必须是非负数，因此残差平方和必须小于总平方和

这张图表对我很有帮助。

其它你可能感兴趣的问题