用于监督学习的狄利克雷过程?

机器算法验证 狄利克雷过程
2022-04-06 14:50:10

似乎当我环顾这里流行的学习算法时,神经网络、增强树、支持向量机、随机森林和朋友之类的东西都被推广用于监督学习问题。Dirichlet 过程及其类似过程似乎主要在无监督学习问题中被提及,例如文档或图像聚类。我确实看到它们被用于回归问题,或者当人们想以非参数或半参数方式进行贝叶斯统计时作为通用先验(例如,作为某些模型中随机效应分布的灵活先验),但我有限的经验表明这不像来自更传统的统计学家那样来自机器学习人群。我已经对此做了少量的谷歌搜索,我'

那么,狄利克雷过程及其表亲作为灵活聚类模型的先验是最有效的吗?在监督学习问题上,它们与 boosting、SVM 和神经网络没有竞争力吗?它们仅在某些情况下对这些问题有用吗?还是我的总体印象不正确?

2个回答

这个问题没有引起太多关注,所以我将回答更新我的发现并(希望)激发讨论。我遇到了一篇我期待阅读的文章,该文章使用 DPM 进行分类(Shahbaba 和 Neal,2007),他们在蛋白质折叠数据上进行了测试。从本质上讲,他们似乎做了类似于我在上面评论中建议的事情。它对神经网络和支持向量机都比较有利。这让我松了一口气,因为我已经将大量时间投入到这些模型中,着眼于监督机器学习问题,所以看起来我(也许)并没有浪费我的时间。

看看 R 的 DP 包。Dirichlet 过程至少可以用作随机效应的先验,并构造回归的非参数误差分布。