在一些迭代学习方法中，您应用的迭代越多，您的模型对训练集就越具体。如果迭代次数过多，您的模型将变得过于针对训练样本进行专门训练，并且在训练阶段未看到的其他样本上得分较低。这称为过拟合，尽管过拟​​合并不特定于迭代学习方法。

防止这些迭代学习算法过度拟合的一种解决方案是提前停止。通常，一个称为验证样本（验证集）的样本控制组用于验证模型并在模型开始过度拟合时发出通知。训练算法不使用验证集，但是，它的相应输出是已知的，并且在每次迭代之后，它的样本被用来衡量模型当前工作的好坏。一旦验证集的性能停止增长并开始下降，我们就停止迭代训练算法。这被称为早期停止，它可以帮助最大化我们学习模型的泛化能力。

请注意，如果我们使用训练集本身进行验证，性能将始终提高，因为这是学习算法的设计目的。然而，学习算法不知道它应该如何具体地学习训练集，这就是为什么我们需要像提前停止这样的方法。