模型在训练和交叉验证数据上的理想分数

人工智能 机器学习 训练 交叉验证
2021-10-28 12:11:22

这个问题有点宽泛,但我在任何地方都找不到任何具体的解释,因此决定在这里问专家。

我已经为二进制分类任务训练了一个分类器模型。现在我正在尝试微调模型。使用不同的超参数集,我在训练集和测试集上获得了不同的准确度集。例如:

(1) Train set: 0.99 | Cross-validation set: 0.72
(2) Train set: 0.75 | Cross-validation set: 0.70
(3) Train set: 0.69 | Cross-validation set: 0.69

这些是近似数字。但我的观点是——对于某些超参数集,我获得或多或少相似的 CV 准确度,而训练数据的准确度从过拟合到不太过拟合不等。

我的问题是 - 这些模型中的哪一个最适合未来看不见的数据?在这种情况下,我们应该选择训练准确率较高还是训练准确率较低的模型,因为上述所有情况下的 CV 准确率都相似(实际上,过拟合模型中的 CV 分数更好)?

2个回答

您应该只寻找交叉验证分数。如果这个集合足够大,它将让您准确预测您的模型将如何处理看不见的数据。

你的情况很特殊。明显过拟合的拟合模型实际上在交叉验证集上表现更好。这反过来意味着您的过度拟合模型将在处理看不见的数据时表现得更好。

假设您的交叉验证分数(在训练集和测试集上)正确地表明了模型的预测性能,那么无论您的模型是否过度拟合,您都应该仅根据您的验证准确性决定使用哪个训练模型。