我发现最好在交叉验证方面提出我的问题。它是这样的:
假设一个二元分类问题,针对某个学习算法应用了交叉验证。假设CV 训练误差和CV 测试误差均达到 90% 的准确率,表明拟合良好。由于这种性能对于我们的问题是可以接受的,因此我们将训练和验证集组合成最终的完整数据集,并训练最终模型。对于最终数据集,只有训练错误可用,假设我们的示例为 92%。
现在,对于问题:知道最终模型已达到 92% 的准确率,将 8% 的错误分类示例保留在最终数据集中是否有任何目的?既然这些例子是无法学习的,为什么不把它们去掉,只用 92% 的可学习数据重新训练最终模型呢?
笔记
- 据我所知,上述示例中删除 8% 并不是建模的标准做法。然而,我想知道保留没有学过的例子有什么价值。
- 为了完成,假设还有另一个独立的测试集来评估最终模型。