偏差方差分解是对期望的分解,但我没有遵循在此分解中具体假设的随机性。
以下面等式中的特定回归示例为例。来自ESL的7.9分。这是期望:
- 跨越模型的多个拟合?(即跨多次培训?)
- 跨不同的数据点x?
我的印象是第 1 种情况,但这很奇怪。数据是我们用来拟合的数据,那么它们会是什么类型的拟合呢?
例如,这是在查看泛化错误吗?也就是说,对于我们训练的任何数据集(不一定是我们拥有的数据集) ,对于给定的通用点?或者是其他东西?
偏差方差分解是对期望的分解,但我没有遵循在此分解中具体假设的随机性。
以下面等式中的特定回归示例为例。来自ESL的7.9分。这是期望:
我的印象是第 1 种情况,但这很奇怪。数据是我们用来拟合的数据,那么它们会是什么类型的拟合呢?
例如,这是在查看泛化错误吗?也就是说,对于我们训练的任何数据集(不一定是我们拥有的数据集) ,对于给定的通用点?或者是其他东西?
Bias-Variance Decomposition 是针对测试集中固定观测值的预测误差进行的。
我们假设我们一次又一次地重新采样我们的训练集,并使用每个重新采样的训练集重新训练模型。
例如,误差的估计是这样进行的:在我们通过重采样个模型与个训练集中的每一个进行拟合。使用每个拟合模型,我们对测试集中的相同观察值(OOS)进行预测。有了预测,我们将有个预测值,误差的期望值是通过取所有预测误差的平均值来计算的。
偏差-方差分解表明,估计误差由偏差误差、方差误差和可约误差组成。