为文本分类编码上下文的方法?

数据挖掘 深度学习 分类 词嵌入
2022-02-25 01:38:29

我有一个具有以下规范的二进制分类任务:

输入:文本块(不超过几个句子,主要是一个句子)。
附加输入:对于每个输入样本,都有可用的附加信息(这也是一些长度相似的文本,最多 2-3 个句子)。
问题:使用附加上下文对文本内容进行分类
问题类型:二进制分类

本质上,任务归结为根据上下文p(content|context) 对内容进行分类。

我正在考虑使用深度神经网络对文本进行编码以进行分类的有效方法。我搜索了最近的作品,但现有的文献大多使用下面提到的技术。

我想知道是否有更好的方法来编码上下文?与仅串联相比,这在某些领域已证明是有效的。

编码然后连接:这涉及使用类似于内容的方式对上下文进行编码,然后在分类之前连接特征表示。这是广泛使用的技术。这种技术有很多变体(编码文本的不同方法,例如使用 tfidf rep、词嵌入、LSTM、CNN),这些变体得到了广泛的探索。

有没有更好的方法在分类过程中带来上下文信息?

PS:递归 RNN 是我的 TODO 中的东西。

1个回答

递归神经网络 (RNN) 最适合解决您的问题。如果您想更进一步,请尝试递归神经张量网络您可以使用 RNN 为您的内容上下文数据生成整个句子的组合。这将帮助您将句子映射到更高维度的空间,并且作为输出,您将获得内容和上下文的数值(或嵌入)。将这些值输入一个简单的逻辑分类器将完成您的任务。有关 RNN 的简要概述,请查看 Richard Socher 的讲座