为什么狄利克雷过程不适用于贝叶斯非参数中的应用?

机器算法验证 机器学习 马尔可夫链蒙特卡罗 狄利克雷过程
2022-03-31 10:25:14

DP 的离散性使其不适用于贝叶斯非参数的一般应用,但它非常适合在混合建模中将先验放置在混合分量上的问题。

这句话来自Hierarchical Dirichlet Processes (Teh, et al, (2006)[1]) 我正在寻找关于它的含义的解释。贝叶斯非参数似乎是一个太模糊的术语,我无法理解作者所指的内容。

[1]Teh, YW, Jordan, MI, Beal, MJ, Blei, DM (2006):“分层狄利克雷过程”。美国统计协会杂志,101,第 1566-1581 页。

1个回答

对于概率一,狄利克雷过程的实现是离散的概率度量。严格的证明可以在

布莱克威尔,D. (1973)。“弗格森选择的离散性”,统计年鉴,1(2):356-358。

狄利克雷过程的断棒表示使此属性透明。

  1. 独立绘制BiBeta(1,c), 为了i1.

  2. 定义P1=B1Pi=Bij=1i1(1Bj), 为了i>1.

  3. 独立绘制YiF, 为了i1.

  4. Sethuraman 证明了离散分布函数

    G(t,ω)=i=1Pi(ω)I[Yi(ω),)(t)
    是具有浓度参数的狄利克雷过程的实现c并以分布函数为中心F.

这个狄利克雷过程期望很简单F,这可能是一个连续随机变量的分布函数。但是,如果随机变量X1,,Xn从这个狄利克雷过程中形成一个随机样本,后验期望是一种概率度量,它将正质量放在每个样本点上。

关于最初的问题,您可以看到普通的狄利克雷过程可能不适合对贝叶斯非参数的某些问题进行建模,例如贝叶斯密度估计问题,但是可以使用狄利克雷过程适当扩展来处理这些情况。