CNN 可以增量训练吗?

人工智能 机器学习 卷积神经网络 增量学习 在线学习
2021-10-22 10:23:04

就像我们的人脑一样,我们可以先学习(训练)笔迹 0 和 1。训练(和测试)准确度足够好之后,我们只需要学习(训练)笔迹 2,而不是清理所有的学习记忆,同时重新学习笔迹数据0、1、2。

CNN可以做同样的事情吗?CNN 可以学习新的东西,但保留以前的记忆吗?如果是,效率可能会很高。现在,我必须同时给所有数据,效率非常低。

1个回答

您正在寻找增量(或在线)学习

CNN 可以增量训练。例如,在论文Incremental Learning of Convolutional Neural Networks中,作者提出了一种用于 CNN 的增量学习算法(受AdaBoostLearn++的启发,这是另一种用于神经网络监督学习的增量学习算法)。

但是,请注意,鉴于 稳定性-可塑性困境,增量学习是一项具有挑战性的任务:一个完全稳定的模型,为了保持稳定,将尝试保留现有知识,因此不会学习新知识;同样,一个完全可塑性的模型,为了保持可塑性,它会不断忘记以前获得的知识,从而学习新的信息。