多标签分类的多任务学习?

数据挖掘 神经网络 分类 深度学习 多标签分类 多任务学习
2021-09-28 19:54:50

我有一个多标签分类问题,其中每个示例都可以属于一个预定义的类(或者不属于它们)。

我想知道我是否可以以某种方式将多任务学习 (MTL) 应用于这个问题。本质上,将每个类视为一个单独的类,并使用基于 NN 的模型,该模型具有共同的特征提取器层,以及在其之上的类特定层。

我的疑问是,多标签设置中的标签之间通常存在相关性。在 MTL 模型中,特征提取后,每个类都单独处理,不共享信息。考虑到这些信息,多标签的 MTL 类型的模型是否有意义?

1个回答

MTL 应该使您的共享层能够更好地泛化。例如。在一个text classification问题中,您encoder将接受不同任务的训练:一个可能是multi class classification(原始任务)本身,让我们将识别句子的情绪(再次分类任务;但与原始任务不同)作为另一个任务。

对于这些任务中的每一个,编码器都是相同的,但头(解码器)会不同。

一个任务的解码器/头不会受到另一任务的影响。

MTL 总是有意义的。您的编码器/共享层将能够更好地泛化,从而减少解码器的负载,从而提高性能。