如何为另一个输入集训练神经网络,而不会丢失对前一个输入集的学习?

人工智能 神经网络 反向传播 人工神经元 乙状结肠
2021-11-18 04:58:17

我读了这个关于反向传播的教程。

因此,使用这种反向传播,我们对一个输入集(例如 [2,4])重复训练神经网络,直到我们达到 100% 的准确度,将 1 作为输出。并且神经网络正在相应地调整其权重值。所以一旦以这种方式训练神经网络后,假设我们给出另一个输入集,比如 [6,8],那么神经网络也会更新它的权重值(覆盖以前的值),对吗?这会导致失去之前的学习,对吧?

1个回答

是的,这实际上是一种称为灾难性遗忘的限制。解决此问题的一种建议方法是弹性权重合并,它“通过选择性地减慢对那些任务重要的权重的学习来记住旧任务”。有关详细信息,请参阅克服神经网络中的灾难性遗忘。另一种方法是学习而不忘记

如果任务不同,您所说的方法称为迁移学习。您可能还想看看多任务学习

如果任务相同,您可以尝试创建两个数据集的连接并对其进行培训。