什么是有限混合物的混合物?

机器算法验证 贝叶斯 聚类 非参数 混合分布
2022-03-26 10:51:53

有限混合模型的混合似乎是一种有趣的贝叶斯 (?) 方法,用于解决具有未知个分量的聚类。不过,与具有先验狄利克雷过程的混合模型不同,使用对称狄利克雷先验意味着不一定会随着数据集的大小而增长。kkn

不幸的是,我真的不明白它们是如何定义的,或者关于它们的很多其他内容。我正在使用的定义来自 Miller 和 Harrison (2017) 的论文如下:

我们考虑以下众所周知的模型:

KpK,where pK is a p.m.f. on {1,2,}(π1,,πk)Dirichletk(γ,,γ), given K=kZ1,,Zn π, given πθ1,,θkH, given K=kXjfθZj independently for j=1,,n, given θ1:K,Z1:n.

这里,H是\Theta ⊂ \mathbb{R}^\ellH上的先验或“基本度量” ,而{f_\theta : \theta \in \Theta}是关于 sigma-finite 的概率密度族\chi \subset \mathbb{R}^d上测量\zeta(像往常一样,我们给 Θ 和\chi博雷尔 sigma 代数,并假设(x, \theta) \rightarrow f_\theta(x)是可测量的。)我们表示x_{1:n} = (x_1, \ldots , x_n)通常, X_1,. . . , X_n将被观察到,所有其他变量将被隐藏/潜在。我们将此称为有限混合(MFM)模型的混合。ΘRfθ:θΘζχRdχ(x,θ)fθ(x)x1:n=(x1,,xn)X1,...,Xn

我想我理解这里的前三行定义,但其余的似乎非常笼统和不透明。

什么是混合物的有限混合?这里的直觉是什么?如果人们会取笑我,我也不介意知道:

  1. 为什么定义中有所有这些测量理论的术语?
  2. 我如何适应这样的模型?什么是可逆跳跃马尔可夫链蒙特卡洛,为什么它与这个模型如此密切相关?
  3. 为什么这不更常用,因为它似乎是解决未知k聚类问题的一个很好的解决方案?

具有先验成分数量的混合模型,JW Miller 和 MT Harrison,美国统计协会杂志 (JASA),卷。0,2017 年,第 1-17 页。

1个回答

这是我的理解,

我们如下绘制索引或指标来指示使用 然后我们绘制参数混合模型的每个分量为, 然后我们根据所选参数θj

ZiCategorical(π1,...,πk),i=1,...,n
θjH,j=1,...,K
θZi