假设我正在使用训练集训练神经网络并留出验证集 V。我在每个 epoch 之后获得模型 h 以及验证损失(0-1 损失) , ...如果我使用此处建议的提前停止规则(最佳答案)。
- 结果是 对真实损失的无偏估计?
- 如何使用 ?
我猜第一个不会,因为停止规则取决于我的数据集的分区。
Afaik 可以应用的界限取决于我的假设集的大小,我不完全确定在这种情况下它是有限的、可数的还是不可数的。
假设我正在使用训练集训练神经网络并留出验证集 V。我在每个 epoch 之后获得模型 h 以及验证损失(0-1 损失) , ...如果我使用此处建议的提前停止规则(最佳答案)。
我猜第一个不会,因为停止规则取决于我的数据集的分区。
Afaik 可以应用的界限取决于我的假设集的大小,我不完全确定在这种情况下它是有限的、可数的还是不可数的。
- 结果是 对真实损失的无偏估计?
不,您已经进行了多次测量,每次测量都有一定的不确定性,并选择了最大值或最小值。
- 如何使用 ?
在一般情况下,您不能。这将取决于模型在训练集上发生的过度拟合程度、cv 集的大小、使用的次数以及每次使用时模型的性能有多相似。cv 集中也存在抽样偏差,它与选择过程相互作用。
如果您在生产结束时需要无偏估计,通常会做一个训练/简历/测试拆分。cv 集用于模型选择,一旦你选择了一个模型,你就可以在测试集上估计它的损失——或其他关键指标。如果您希望它是一个无偏的度量,那么最少使用测试集而不是为了选择模型是很重要的。否则你会重复这个问题。
另一种对基于 cv 的指标保持信心的方法是使用 k 折交叉验证。一旦你使用了几次,在 k-fold 交叉验证中取度量的平均值仍然是有偏差的,但偏差会有所减少。您可以通过嵌套交叉验证进一步推进该想法,它允许您以一般方式(即使用相同的超参数)从更多数据中获得对模型性能的无偏估计。