假设一个模型M对苹果和橙子进行分类。可以M扩展到对第三类对象进行分类,例如梨,这样“再训练”的新图像只对梨进行了注释,而忽略了苹果和橙子?也就是说,既然M已经对苹果和橙子进行了分类,那么是否可以以某种方式保留旧的权重并让再训练专注于学习梨?
微调和不忘记学习等方法似乎需要对新图像中的所有对象进行注释。
假设一个模型M对苹果和橙子进行分类。可以M扩展到对第三类对象进行分类,例如梨,这样“再训练”的新图像只对梨进行了注释,而忽略了苹果和橙子?也就是说,既然M已经对苹果和橙子进行了分类,那么是否可以以某种方式保留旧的权重并让再训练专注于学习梨?
微调和不忘记学习等方法似乎需要对新图像中的所有对象进行注释。
是的,这是标准的迁移学习。使用经过训练的模型,我们可以冻结分类器的前 N 个隐藏层,除了最后几个。这将使我们之前的相关培训得以保留,同时也能够学习新功能和针对新课程。
然后,我们将初始化一个新的输出层来处理我们的新上下文(即 sigmoid,二进制分类器的 1 个节点)。现在一切都准备好恢复我们新的 y_targets 的训练。
查看此链接以获取有关迁移学习的更多信息。
如果您不想打扰您过去的学习,我建议您冻结所有以前的隐藏层,然后再添加一些额外的隐藏层。