“迁移学习”和“领域适应”有什么区别?

机器算法验证 深度学习 术语 卷积神经网络 迁移学习 领域适应
2022-01-18 02:17:41

“迁移学习”和“领域适应”有什么区别吗?

我不知道上下文,但我的理解是我们有一些数据集 1 并在其上进行训练,之后我们有另一个数据集 2,我们希望在不从头开始重新训练的情况下调整我们的模型,为此“迁移学习”和“域适应”有助于解决这个问题。

根据卷积神经网络领域:

  • 我所说的“迁移学习”是指“微调” [1]

  • 在这种情况下[2]它是无监督的,但“域适应”是否应该始终是无监督的?

4个回答

对于“迁移学习”和“领域适应”之间的区别,研究人员似乎存在一些分歧。

从 {0}:

领域适应的概念与迁移学习密切相关。迁移学习是一个通用术语,指的是一类涉及不同任务或领域的机器学习问题。在文献中,还没有迁移学习的标准定义。在一些论文中,它可以与域适应互换。

从 {1}:

在此处输入图像描述


参考:

来自 Hal Daume 的文章 [1]:

标准分类设置是输入分布 p(X) 和标签分布 p(Y|X)。领域适应:当 p(X) 在训练和测试之间发生变化时。迁移学习:当 p(Y|X) 在训练和测试之间发生变化时。

换句话说,在 DA 中,输入分布发生了变化,但标签保持不变;在 TL 中,输入分布保持不变,但标签会发生变化。

  1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html镜像

在有关迁移学习的文献中,存在许多术语不一致的地方。迁移学习和领域适应等短语用于指代类似的过程。域适应是适应一个或多个源域的过程,用于传输信息以提高目标学习器的性能。域适应过程试图改变源域以试图使源的分布更接近目标的分布。在域适应设置中,源域和目标域具有不同的边际分布 p(X)。根据 Pan 的调查,迁移学习是一个更广泛的术语,也可以包括源域和目标域的条件分布 p(Y|X) 存在差异的情况。相比之下,

  1. https://nlpers.blogspot.com/2007/11/domain-adaptation-vs-transfer-learning.html

我认为“Transfer Learning”是一个更笼统的名词,“Domain Adaptation”是“Transfer Learning”的一个场景。

[1] 域适应的可转移注意力。http://ise.thss.tsinghua.edu.cn/~mlong/doc/transferable-attention-aaai19.pdf