如何在不发生灾难性遗忘的情况下逐步训练 Yolo 模型?

人工智能 卷积神经网络 训练 约洛 增量学习 灾难性遗忘
2021-11-17 01:24:32

我已经成功训练了一个 Yolo 模型来识别 k 类。现在我想通过将 k+1 类添加到预训练的权重(k 类)来进行训练,而不会忘记之前的 k 类。理想情况下,我想继续添加类并训练以前的权重,即只训练新类。如果每次添加新课程时都必须训练所有课程(k+1),那将太耗时,因为训练 k 个课程需要k20000迭代,与20000如果我可以增量添加类,则每个新类的迭代次数。

数据集是平衡的(每类 5000 张图像用于训练)。

如果您能提供一些方法或技术来为 Yolo 进行这种持续培训,我将不胜感激。

1个回答

有一种叫做弹性权重合并的东西可以防止神经网络在训练新任务时忘记以前的任务。它也可能对您的情况有所帮助。

主要思想是量化参数对任务的重要性t并在模型在训练学习任务时更改其参数时按比例惩罚模型t+1. 如您所见,这会激励模型更改对任务不太重要的参数t这可以防止模型忘记它。