如果均方误差 = 方差 + 偏差^2。那么均方误差如何低于方差

机器算法验证 回归 毫秒 训练错误 偏差-方差-权衡
2022-03-07 17:25:34

我正在阅读《统计学习导论》。这里表明:-MSE 公式

在后面的示例中,绘制了训练和测试 MSE。我想知道偏差^ 2 和方差是否都是正数,那么 MSE 如何低于方差。 在此处输入图像描述

3个回答

这叫做过拟合。训练数据上的明显MSE 低于方差,但这只能通过使模型过于复杂来实现,以便它可以跟随单个数据点的随机波动(“追逐噪声”)。一旦您尝试预测新数据,MSE 就会变得更糟。即模型预测的真实 MSE 不低于方差。

问题中重现的公式是准确的,因此与“低于方差的 MSE”不兼容。当您提到在提供的图表上观察到“MSE 低于方差”时(假设最小 MSE 是模型方差),这是因为您考虑的是经验MSE 和方差,而不是理论量,这是对模型的期望分配。

您似乎认为存在方差大于 MSE 的情况,但远不清楚您是如何看待的。在机器学习中,Y 被建模为等于 X 的某个函数,加上一个随机误差项。就像在本例中一样,该错误通常用 epsilon 表示,ϵ. 在这个模型中,一个等于 Y 对 X 的“真实”依赖的估计函数的 MSE 等于ϵ. 除了“真实”依赖之外,估计量的 MSE 等于ϵ,加上“真实”依赖和使用的估计器之间的差异。因此,估计量的 MSE 将大于或等于方差of _ϵ_. 它可以,并且任何体面的估计量都将小于方差of Y_. 如果估计量的 MSE 大于 Y 的方差,那么完全忽略 X 并仅预测 Y 将等于 Y 的均值将是一个更好的估计量。