只是一个猜测，但是使用像 SGD 之类的东西（可以被认为是一种在线学习，从某种意义上说，它一次只能看到一小部分数据）的训练看起来像目标函数。

也就是说，目标的“轨迹”正在下降，但它是随机反弹的。提前停止意味着您在该轨迹中较早地选择一个点，参数“次优”，因为通过进一步训练和微调参数估计，可以在训练数据上获得较低的熵。

稍后在您的问题中，您写道您希望更多样本可以避免过度拟合。更多的训练样本可以提供更精确的参数估计，但不能单独防止过拟合。尤其是在神经网络的情况下，NN 可以学习一个非常复杂的函数（在存在几乎任何数量的数据的情况下），但该函数可能无法很好地泛化到看不见的数据。

考虑从欠拟合模型到最优模型再到过拟合模型的连续统。更多的训练数据可以让你从欠拟合到最优，但是从最优到过拟合可能会因为没有正则化而发生；在早停范式中，这意味着使用所有可用数据。

请注意，有一些替代策略可以解决神经网络中的过度拟合问题。一种方法是在参数上放置一个先验，使值远离 0。这通常表示为在目标函数是权重向量，即 0 均值的高斯先验，方差通过控制。交叉验证用于选择最优的。$\lambda\sum_i w_i^2$$w$$w_i$$\lambda$$\lambda$