“迁移学习”和“领域适应”有什么区别?
对于“迁移学习”和“领域适应”之间的区别,研究人员似乎存在一些分歧。
从 {0}:
领域适应的概念与迁移学习密切相关。迁移学习是一个通用术语,指的是一类涉及不同任务或领域的机器学习问题。在文献中,还没有迁移学习的标准定义。在一些论文中,它可以与域适应互换。
从 {1}:
参考:
{0}李奇。“文献调查:自然语言处理的领域适应算法。” 计算机科学系纽约城市大学研究生中心(2012):8-10。https://scholar.google.com/scholar?cluster=2828982016930721315&hl=en&as_sdt=0,22;https://pdfs.semanticscholar.org/532e/3d5b1b5807771b77cac60fe8594b506fcff9.pdf;http://nlp.cs.rpi.edu/paper/qisurvey.pdf (镜像)
{1} 潘、辛诺嘉林和杨强。“关于迁移学习的调查。” IEEE Transactions on Knowledge and Data Engineering 22,没有。10 (2010): 1345-1359。https://scholar.google.com/scholar?cluster=17771403852323259019&hl=en&as_sdt=0,22;http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.158.4126&rep=rep1&type=pdf ( mirror ) (2.6k 引用)
来自 Hal Daume 的文章 [1]:
标准分类设置是输入分布 p(X) 和标签分布 p(Y|X)。领域适应:当 p(X) 在训练和测试之间发生变化时。迁移学习:当 p(Y|X) 在训练和测试之间发生变化时。
换句话说,在 DA 中,输入分布发生了变化,但标签保持不变;在 TL 中,输入分布保持不变,但标签会发生变化。
在有关迁移学习的文献中,存在许多术语不一致的地方。迁移学习和领域适应等短语用于指代类似的过程。域适应是适应一个或多个源域的过程,用于传输信息以提高目标学习器的性能。域适应过程试图改变源域以试图使源的分布更接近目标的分布。在域适应设置中,源域和目标域具有不同的边际分布 p(X)。根据 Pan 的调查,迁移学习是一个更广泛的术语,也可以包括源域和目标域的条件分布 p(Y|X) 存在差异的情况。相比之下,
我认为“Transfer Learning”是一个更笼统的名词,“Domain Adaptation”是“Transfer Learning”的一个场景。
[1] 域适应的可转移注意力。http://ise.thss.tsinghua.edu.cn/~mlong/doc/transferable-attention-aaai19.pdf