偏差方差分解:对什么的期望?

机器算法验证 期望值 毫秒 偏差-方差-权衡
2022-03-21 09:53:00

偏差方差分解是对期望的分解,但我没有遵循在此分解中具体假设的随机性。

以下面等式中的特定回归示例为例。来自ESL的7.9分。这是期望:

  1. 跨越模型的多个拟合(即跨多次培训?)
  2. 跨不同的数据点x?

我的印象是第 1 种情况,但这很奇怪。数据是我们用来拟合的数据,那么它们会是什么类型的拟合呢?

例如,这是在查看泛化错误吗?也就是说,对于我们训练的任何数据集(不一定是我们拥有的数据集) ,对于给定的通用点或者是其他东西?Err(x0)x0

1个回答

Bias-Variance Decomposition 是针对测试集中固定观测值的预测误差进行的。

我们假设我们一次又一次地重新采样我们的训练集,并使用每个重新采样的训练集重新训练模型。

例如,误差的估计是这样进行的:在我们通过重采样个模型与个训练集中的每一个进行拟合。使用每个拟合模型,我们对测试集中的相同观察值(OOS)进行预测。有了预测,我们将有个预测值,误差的期望值是通过取所有预测误差的平均值来计算的。NNNN

偏差-方差分解表明,估计误差由偏差误差、方差误差和可约误差组成。