这个问题有点宽泛,但我在任何地方都找不到任何具体的解释,因此决定在这里问专家。
我已经为二进制分类任务训练了一个分类器模型。现在我正在尝试微调模型。使用不同的超参数集,我在训练集和测试集上获得了不同的准确度集。例如:
(1) Train set: 0.99 | Cross-validation set: 0.72
(2) Train set: 0.75 | Cross-validation set: 0.70
(3) Train set: 0.69 | Cross-validation set: 0.69
这些是近似数字。但我的观点是——对于某些超参数集,我获得或多或少相似的 CV 准确度,而训练数据的准确度从过拟合到不太过拟合不等。
我的问题是 - 这些模型中的哪一个最适合未来看不见的数据?在这种情况下,我们应该选择训练准确率较高还是训练准确率较低的模型,因为上述所有情况下的 CV 准确率都相似(实际上,过拟合模型中的 CV 分数更好)?