在大数据上使用 liblinear 进行语义分析

数据挖掘 机器学习 大数据 libsvm
2021-09-30 00:51:33

我使用Libsvm来训练数据并预测语义分析问题的分类。但它在大规模数据上存在性能问题,因为语义分析涉及n 维问题。

去年发布了Liblinear,它可以解决性能瓶颈。但是它消耗了太多的内存MapReduce解决大数据语义分析问题的唯一方法吗?或者有没有其他方法可以改善Liblinear上的内存瓶颈?

2个回答

请注意,有一个早期版本的 LIBLINEAR 移植到Apache Spark有关一些早期详细信息,请参阅邮件列表评论,以及项目站点

您可以查看vowpal wabbit它在大规模学习中非常流行,并且包含并行规定。

从他们的网站:

VW 是机器学习中速度的精髓,能够轻松地从 terafeature 数据集中学习。通过并行学习,在进行线性学习时,它可以超过任何单个机器网络接口的吞吐量,这是学习算法中的第一个。