其他分类器的“随机森林”变体

数据挖掘 机器学习 nlp 随机森林 支持向量机 决策树
2022-02-24 17:09:49

我正在使用带有线性内核的 SVM 来解决我的多类文本分类问题之一,并获得 0.78 的准确度。我也尝试过随机森林,但我能得到的最佳准确度是 0.72。这让我开始思考如果我可以模拟随机森林但使用 SVM 分类器而不是决策树会怎样。我不确定它是否会提高准确性。在我实施这个之前,我想得到一些支持,而快速的谷歌搜索也没有帮助。

对此有什么想法吗?

1个回答

导致更好结果的模型集合的概念在数据科学和机器学习社区中很普​​遍。例如,Hastie、Tibshirani 和 Friedman 广为阅读的文本“统计学习的要素”,将篇幅用于模型平均的一般概念(第 8.7-8.8 节),并进一步讨论了与树相关的提升(例如第 10 章) . 因此,在野外看到集成模型的示例是很常见的,使用任何可以想象的算法作为基础,甚至可以有效地看到集成的集成。

特别是关于支持向量机,至少有一些尝试通过使用集成来提高 SVM 的性能。最近的一个例子是 EnsemblesSVM (Claesen,De Smet, Suykens, De Moor - 参见 home.esat.kuleuven.be/~claesenm/ensemblesvm/)。作者承诺,该算法将通过集成经过少量训练的 SVM 来缩短训练时间,并通过上述网站分发免费实现。