就像我们的人脑一样,我们可以先学习(训练)笔迹 0 和 1。训练(和测试)准确度足够好之后,我们只需要学习(训练)笔迹 2,而不是清理所有的学习记忆,同时重新学习笔迹数据0、1、2。
CNN可以做同样的事情吗?CNN 可以学习新的东西,但保留以前的记忆吗?如果是,效率可能会很高。现在,我必须同时给所有数据,效率非常低。
就像我们的人脑一样,我们可以先学习(训练)笔迹 0 和 1。训练(和测试)准确度足够好之后,我们只需要学习(训练)笔迹 2,而不是清理所有的学习记忆,同时重新学习笔迹数据0、1、2。
CNN可以做同样的事情吗?CNN 可以学习新的东西,但保留以前的记忆吗?如果是,效率可能会很高。现在,我必须同时给所有数据,效率非常低。
您正在寻找增量(或在线)学习。
CNN 可以增量训练。例如,在论文Incremental Learning of Convolutional Neural Networks中,作者提出了一种用于 CNN 的增量学习算法(受AdaBoost和Learn++的启发,这是另一种用于神经网络监督学习的增量学习算法)。
但是,请注意,鉴于 稳定性-可塑性困境,增量学习是一项具有挑战性的任务:一个完全稳定的模型,为了保持稳定,将尝试保留现有知识,因此不会学习新知识;同样,一个完全可塑性的模型,为了保持可塑性,它会不断忘记以前获得的知识,从而学习新的信息。