机器算法验证 - 样本误差和训练误差以及乐观的直觉有什么区别？ - 吾爱随笔录

\bar{e r r} = \frac{1}{N} \sum_{i = 1}^{N} L (y_{i}, \hat{f} (x_{i}))

$\overline{err} = \frac{1}{N}\sum_{i=1}^{N}{L(y_i,\hat{f}(x_i))}$

而样本内误差定义为

E r r_{i n} = \frac{1}{N} \sum_{i = 1}^{N} E_{Y^{0}} [L (Y_{i}^{0}, \hat{f} (x_{i})) | τ]

$Err_{in} = \frac{1}{N}\sum_{i=1}^{N}{E_{Y^0}[L(Y_{i}^{0},\hat{f}(x_i))|\tau]}$

这 $Y^0$ 符号表示我们在每个训练点观察到 N 个新的响应值 $x_i, i = 1, 2, . . . ,N$ .

这似乎与训练误差完全相同，因为还计算了训练误差，即通过使用拟合估计计算训练集的响应 $\hat{f}(x)$ . 我已经检查了这个和这个概念的解释，但无法理解训练误差和样本内误差之间的区别，以及为什么乐观并不总是 0：

o p \equiv E r r_{i n} - \bar{e r r}

$op\equiv Err_{in}-\overline{err}$

那么错误如何 $Err_{in}$ 和 $\overline{err}$ 不同，在这种情况下对乐观的直观理解是什么？

此外，作者在声明中所说的“通常偏向下”是什么意思：

这通常是积极的，因为 err 通常作为预测误差的估计值向下偏斜。

同时描述乐观（统计学习的要素，第 229 页）