在选择了具有交叉验证的最佳模型后,我应该训练它多长时间?

人工智能 机器学习 深度学习 训练 超参数优化 交叉验证
2021-11-07 07:05:29

在深度学习问题中使用 k 折交叉验证时,在计算超参数后,如何决定训练最终模型的时间?我的理解是,在选择了超参数之后,您会在整个数据集上再次训练您的模型,但是当您决定停止训练时,我并不清楚。

1个回答

简短的回答:训练“持续时间”或时期/更新的数量也应该交叉验证:您希望尽早停止训练以防止过度拟合。

更长的答案:

给定一些超参数的值,将验证集的准确性视为对未来数据准确性的估计。在这种情况下,感兴趣的超参数是训练 epoch 的数量。所以:对于每个 CV 折叠,训练网络(例如,达到某个最大时期数)。在每个 epoch 之后,记录验证集的准确性。计算每个时期的平均验证集准确度(跨 CV 折叠)。选择使该值最大化的时期数。

https://stats.stackexchange.com/questions/298084/k-fold-cross-validation-for-choosing-number-of-epochs