结合序列和静态特征的机器学习模型?

机器算法验证 机器学习 时间序列 分类 参考 术语
2022-04-01 05:13:48

我正在处理一个分类问题,其中数据点包括顺序(时间序列)数据和“静态”特征 - 不会改变的属性。类比可以是由一个句子组成的数据点,其中单词是顺序数据,以及“静态”信息,例如谁写了这个句子,它在什么样的出版物中,等等。

我知道在 NLP 中,如果我们将文本作为单词包或 n-gram 处理,我们可以包含这些,在这种情况下,特征数量是恒定的,但我想将“句子”作为序列处理HMM 的方式。

为此一般使用哪些模型或模型类型?我知道 HMM、RNN 和其他仅处理序列的模型,显然大多数基本的 ML 分类器都可以处理静态特征,但我似乎找不到任何关于组合它们的信息。我想也许我只是没有使用正确的术语进行搜索。不过,这似乎是人们经常想要做的事情。

使用某种集成方法是常见的做法吗?如果是这样,我不确定加权将如何起作用。

1个回答

只是一个建议,如果您使用 RNN 对序列进行分类,您可以添加一个最终的全连接层,该层将 RNN 的输出与您的静态特征(通过连接)结合起来,然后再进入 softmax 并输出预测的类概率。由于这最后一层与它自己的一组权重完全连接,只要将特征缩放到零均值和单位方差,训练网络时就会自动完成加权。