提前停车和界限

数据挖掘 机器学习 自习
2021-09-18 05:15:04

假设我正在使用训练集训练神经网络并留出验证集 V。我在每个 epoch 之后获得模型 h 以及验证损失(0-1 损失) 大号^(H1,), 大号^(H2,)...如果我使用此处建议的提前停止规则(最佳答案)。

  1. 结果是 大号^(H*,) 对真实损失的无偏估计?
  2. 如何使用 大号^(H*,) ?

我猜第一个不会,因为停止规则取决于我的数据集的分区。

Afaik 可以应用的界限取决于我的假设集的大小,我不完全确定在这种情况下它是有限的、可数的还是不可数的。

1个回答
  1. 结果是 大号^(H*,) 对真实损失的无偏估计?

不,您已经进行了多次测量,每次测量都有一定的不确定性,并选择了最大值或最小值。

  1. 如何使用 大号^(H*,) ?

在一般情况下,您不能。这将取决于模型在训练集上发生的过度拟合程度、cv 集的大小、使用的次数以及每次使用时模型的性能有多相似。cv 集中也存在抽样偏差,它与选择过程相互作用。

如果您在生产结束时需要无偏估计,通常会做一个训练/简历/测试拆分。cv 集用于模型选择,一旦你选择了一个模型,你就可以在测试集上估计它的损失——或其他关键指标。如果您希望它是一个无偏的度量,那么最少使用测试集而不是为了选择模型是很重要的。否则你会重复这个问题。

另一种对基于 cv 的指标保持信心的方法是使用 k 折交叉验证。一旦你使用了几次,在 k-fold 交叉验证中取度量的平均值仍然是有偏差的,但偏差会有所减少。您可以通过嵌套交叉验证进一步推进该想法,它允许您以一般方式(即使用相同的超参数)从更多数据中获得对模型性能的无偏估计。