迁移学习是将知识从源应用到目标的领域。这是一个模糊的概念，并且有大量与之相关的文献。鉴于您的问题，我将假设您指的是模型之间的权重/架构共享（换句话说，在一个数据集上训练模型并将其用作另一个数据集的特征化器）

现在任何没有无损记忆的学习系统都会有灾难性遗忘的残余。因此，让我们考虑一下我们将如何实现这种转移，以及从中可以得到什么效果。

1. 一种实现涉及转移一个组件并且只训练额外的层。
2. 另一个是重新训练整个系统，但学习率较低？

在设置 1 中，我们可以通过以下事实使灾难性遗忘最小化，即存在一个基于采样机制不能忘记的无偏特征化器，但这并不意味着仍在训练中的其他层仍然可以在这种错误模式下出错.

在设置 2 中，与正常的端到端无迁移训练相比，我们可以使声称灾难性遗忘可以减少，因为无偏特征化器的差异可以通过其初始迁移特征化进行分析限制（复杂性类基于两个函数和步数——你训练的时间越长，它就越有可能忘记）

这些原因是在谈论减轻而不是消除灾难性遗忘的概念，这是因为正如我上面提到的，任何没有无损记忆的学习系统都会有灾难性遗忘的残余，因此对迁移学习做出笼统的主张可能并不总是符合要求。