随后，我们得到了一张新的训练图片，我们想用它来进一步训练 FFNN。但是，这个新的训练图片不会破坏之前学习的权重，这些权重已经被校准以识别之前的训练图片？

这可能会发生，并且会在不同程度上发生，具体取决于神经网络的设置方式，但通常是您想要避免的。

如果神经网络有足够的容量（就自由参数的数量而言），那么它生成的函数可以足够灵活，以逼近您试图与数据匹配的问题的“真实”函数。然后，只要学习步骤足够小，在函数上学习一个点的调整将在该点上朝着正确答案迈出更大的一步，而不是在其他点上调整远离正确答案（直觉上这是关于相互良好的解决方案）部分正交和/或相关，因此向 A 迈出的一步不一定从 B 移开相同的距离）。一次又一次地重复这些点将使NN随着时间的推移匹配所有点。

通常，这几乎可以同时处理大量数据。但是，这与您在问题中的担忧相反，并且被认为是一件坏事，因为它会导致过度拟合。使用神经网络很容易实现过拟合，因为它们非常灵活并且可以具有大量参数。

大多数情况下，训练有监督学习器（例如神经网络）的目标不是完全匹配训练数据，而是泛化到来自相同人口分布的新数据。在训练 NN 时，您通常会花费更多的时间和精力来对抗过度拟合，而不是担心缺乏处理多个数据点的能力。对抗过拟合的方法有：

• 正则化。调整学习算法的技术，通常通过添加一些约束。
• 交叉验证。测量针对看不见的数据的训练结果，并选择最佳的通用模型。