我有一个多标签分类问题,其中每个示例都可以属于一个预定义的类(或者不属于它们)。
我想知道我是否可以以某种方式将多任务学习 (MTL) 应用于这个问题。本质上,将每个类视为一个单独的类,并使用基于 NN 的模型,该模型具有共同的特征提取器层,以及在其之上的类特定层。
我的疑问是,多标签设置中的标签之间通常存在相关性。在 MTL 模型中,特征提取后,每个类都单独处理,不共享信息。考虑到这些信息,多标签的 MTL 类型的模型是否有意义?
我有一个多标签分类问题,其中每个示例都可以属于一个预定义的类(或者不属于它们)。
我想知道我是否可以以某种方式将多任务学习 (MTL) 应用于这个问题。本质上,将每个类视为一个单独的类,并使用基于 NN 的模型,该模型具有共同的特征提取器层,以及在其之上的类特定层。
我的疑问是,多标签设置中的标签之间通常存在相关性。在 MTL 模型中,特征提取后,每个类都单独处理,不共享信息。考虑到这些信息,多标签的 MTL 类型的模型是否有意义?
MTL 应该使您的共享层能够更好地泛化。例如。在一个text classification
问题中,您encoder
将接受不同任务的训练:一个可能是multi class classification
(原始任务)本身,让我们将识别句子的情绪(再次分类任务;但与原始任务不同)作为另一个任务。
对于这些任务中的每一个,编码器都是相同的,但头(解码器)会不同。
一个任务的解码器/头不会受到另一任务的影响。
MTL 总是有意义的。您的编码器/共享层将能够更好地泛化,从而减少解码器的负载,从而提高性能。