学习多目标技术的资源?

机器算法验证 回归 机器学习 预测模型 参考
2022-01-24 23:14:56

我正在寻找有关可以处理具有多个目标的数据的技术的资源(书籍、讲义等)(例如:三个因变量:2 个离散变量和 1 个连续变量)。

有没有人有这方面的资源/知识?我知道可以为此使用神经网络。

3个回答

随机森林可以很好地处理它,请参阅具有多个输出的随机森林是否可能/实用?scikit learn 的文档我猜GBM或任何基于树的方法都可以以类似的方式进行调整。

更一般地,当您运行任何最小化分数的学习算法时,您通常会致力于最小化i(piyi)2这是一维的。但是您可以指定任何目标函数。如果您正在研究(二维)位置预测,i(y^iyi)2+(x^ixi)2将是一个很好的指标。

如果您有混合类型输出(分类和回归),那么指定目标函数可能需要您指定一个目标函数,该函数对某些目标的权重高于其他目标:您对连续响应应用哪种缩放?您将哪种损失应用于错误分类?

至于进一步的学术阅读,

SVM 结构化学习的维基百科

同时利用输出和任务结构进行多输出回归

多输出预测的地标选择方法 (处理高维因变量)

本文很好地描述了当前的方法、可用的工具包以及要测试的数据集。

我碰巧在处理一个需要多目标回归的商业问题,我发现Clus 工具包很好地融合了高性能和鲁棒性

  • 文档非常好
  • 该工具包有多种方法可用于多目标分类和回归
  • 它还支持基于规则的归纳和聚类。
  • 我使用的集成模型(Bagging、RandomForest)可以很容易地阅读和解释。

一些较新的方法(2012 年后)已作为 Mulan 工具包的扩展实现,这里是Github 链接尽管这些方法(例如随机线性目标组合)报告的性能优于集成模型,但我发现该工具包不如 Clus 工具包成熟,因此没有使用它们。

贝叶斯处理这类问题:混合类型空间索引数据的贝叶斯非参数模型多响应元素由各种正态分布的随机向量及其链接函数处理。因此完整的响应是法线向量、计数向量和伯努利向量的堆栈。