如果我们将数据随机分成训练数据和验证数据,并假设训练数据和验证数据具有相似的“分布”,即它们都是整个数据集的良好表示。
在这种情况下,如果没有过拟合,验证准确率是否应该始终与训练准确率大致相同?或者,在某些情况下,训练和验证准确性之间可能存在“内在”差距,这不是由于验证数据的过度拟合或错误表示造成的?
如果存在这种“内在”差距,如何判断训练和验证准确率之间的差距是“内在的”还是由过度拟合引起的?
如果我们将数据随机分成训练数据和验证数据,并假设训练数据和验证数据具有相似的“分布”,即它们都是整个数据集的良好表示。
在这种情况下,如果没有过拟合,验证准确率是否应该始终与训练准确率大致相同?或者,在某些情况下,训练和验证准确性之间可能存在“内在”差距,这不是由于验证数据的过度拟合或错误表示造成的?
如果存在这种“内在”差距,如何判断训练和验证准确率之间的差距是“内在的”还是由过度拟合引起的?
我不确定你所说的“内在”是什么意思。
更高的训练准确度意味着您找到的训练数据模型不能很好地描述验证数据。正因为如此,训练验证准确性的任何统计学上的显着差异都是由于过度拟合造成的。不幸的是,弄清楚在这种情况下“具有统计意义”的含义并非完全无关紧要,但总体观点仍然成立。
始终将您的简历和培训成本放在一起是一个很好的做法;最好在同一个情节中。如果分布相似,那么您的 CV 成本和培训成本应该从一开始就非常相似。如果在您的模型训练过程中,您发现这两个成本完全不同,那很可能是由于过度拟合造成的。
在附图中,我们有一个过拟合的经典案例。这两个成本一开始是一样的,但是随着培训成本的降低,CV 成本会增加。由于它们的开始相同,我们知道该模型在未经训练的状态下解释这两个数据集的能力同样差。
至于训练有没有成本差异模型是由于数据特征的内在差异,或者由于过度拟合,这是一个更困难的问题。我能给出的最佳答案是,如果训练示例的数量非常大,并且将数据拆分为训练子集和 CV 子集的过程是高度随机的,那么您可以非常肯定这两个子集的特征会非常相似。大数定律站在你这边。除非数据非常倾斜,否则一个子集极不可能获得某个角色的所有训练示例。相反,如果您使用的数据集非常小,或者您的子集分配过程不是随机的,那么您可能会遇到 CV 子集的特征在某些基本方面不同于训练子集的情况.