最佳模型的 CV 误差是乐观的，因为该模型被精确选择以最小化该误差。如果是第个模型的 CV 误差，则$\widehat{\text{Err}}_i$$i$

$$\mathbb{E}[\min\{\widehat{\text{Err}}_1, ..., \widehat{\text{Err}}_m\}] \le \mathbb{E}[\widehat{\text{Err}}_i]$$

对于所有。$i$

如果你不做模型选择，那么问题可能更微妙。也就是说，近似的数量不是给定模型在固定数据集上训练的误差，而是给定大小的所有可能数据集的预期泛化误差。换句话说，CV 近似于

$$\text{Err} := \mathbb{E}_{D \sim \mathbb{P}^n_{X Y}} [ \mathbb{E}_{X Y}[\text{loss}(f_D(X),Y)|D]],$$

其中训练集本身是随机的，而不是人们可能想要的：$D$

$$\text{Err}_{X Y} := \mathbb{E}_{X Y}[\text{loss}(f_D(X),Y)|D],$$

对于固定数据集。$D$

但即使对于，由于 CV 分裂，比如，折叠，实际近似的期望是 wrt 到，所以有一些偏差。。当然，随着的降低，这可能变得无关紧要。$\text{Err}$$K$$D \sim \mathbb{P}^{\frac{K-1}{K} n }_{X Y}$$\text{Err}$$K/n$

CV 中的其他误差来源是每个测试样本的误差项中的依赖性：由于常见的训练拆分以及不同训练拆分之间的依赖性，存在无法使用个体损失的经验标准误差估计的方差每个测试样品。这就是为什么常见的置信区间是虚假的并且覆盖范围很差的原因。有关使用嵌套过程提供良好置信区间的嵌套过程，请参阅这篇最近的论文[1]。

[1]贝茨、斯蒂芬、特雷弗·哈斯蒂和罗伯特·蒂布希拉尼。“交叉验证：它估计什么以及它做得如何？”，2021 年 4 月 1 日。

这是否与您的观察可能不独立这一事实有关？想象一下，您正在根据两种成分的特性预测两种成分的给定化学混合物是否会爆炸。某个组件 A 可能出现在不同的观察中：您可以将它混合在 A+B、A+C、A+D 等中。现在，假设您使用 k 折验证。当模型预测 A+C 混合时，可能它已经用观察“A+B”进行了训练，因此，它会偏向于该观察的输出（因为两个观察的一半变量是相同：在一个中，您具有 A 的属性和 C 的属性，而在另一个中，您给出了 A 的属性和 B 的属性）。