机器算法验证 - 为什么不能识别正态混合模型，为什么它很重要？ - 吾爱随笔录

为什么不能识别正态混合模型，为什么它很重要？

机器算法验证贝叶斯模型

2022-04-01 23:30:23

假设我们有一个混合模型：

p_{θ} (y) = \sum_{k = 1}^{K} w_{k} ϕ (y; μ_{k}, σ_{k}^{2})

$p_\theta(y) = \sum_{k = 1}^{K}w_k \phi(y;\mu_k, \sigma^2_k)$

在哪里 $\phi(y;\mu_k, \sigma^2_k)$ 是正常密度 $y$ 平均 $\mu$ 和方差 $\sigma^2$ . $\theta$ 包含权重、均值和方差。为什么这里的模型无法识别？

我知道根据定义无法识别只是意味着：

\forall θ_{1} \neq θ_{2}, p_{θ_{1}} = p_{θ_{2}}

$\forall \theta_1 \neq \theta_2 \ \ \ \ , \ \ \ p_{\theta_1} =p_{\theta_2}$

这里有什么明确的例子，或者如果它无法识别，为什么不好？谢谢。

2个回答

考虑以下情况 $\theta_1 = (w_1=0.5, \mu_1 = 0, \sigma_1^2 = 1)$ 和 $\theta_2 = (w_2=0.5, \mu_2 = 1, \sigma_2^2 = 1)$ 如果我们得到完全相同的数据拟合 $\theta_1 = (w_1=0.5, \mu_1 = 1, \sigma_1^2 = 1)$ 和 $\theta_2 = (w_2=0.5, \mu_2 = 0, \sigma_2^2 = 1)$ 因此，没有办法凭经验学习 $\mu_1$ 无论数据量如何（即未识别）。

在这种情况下，缺乏可识别性并不是“坏事”，因为要解决的真正问题是估计参数，无论我们选择混合物的一个成分，第一个还是第二个成分都不重要。

混合和是明确定义的并且几乎总是可以识别的，而和的元素可以在不改变和的情况下相互交换，仅通过交换律：a+b=b+a。

例如，这里是与混合物相关的对数似然的表面

\frac{1}{2} N (μ_{1}, 1) + \frac{1}{2} N (μ_{2}, 1)

$\frac{1}{2}\mathrm{N}(\mu_1,1)+\frac{1}{2}\mathrm{N}(\mu_2,1)$ 以及我使用的这个分布的 250 个观察值

μ_{1} = 0

$\mu_1=0$ 和

μ_{2} = 2

$\mu_2=2$ . （或等效地

μ_{2} = 0

$\mu_2=0$ 和

μ_{1} = 2

$\mu_1=2$ .) 表面上的路径是起点不同的EM阶梯，但图中清楚地显示了似然函数沿对角线的对称性，这说明了这种缺乏可识别性

μ_{1}

$\mu_1$ 像这样。

[图片取自我们的书Introduction Monte Carlo Method with R，与我已故的朋友 George Casella 合着。]

缺乏可识别性不是分布层面的问题，但它会产生推理问题，从多模似然到估计器的复杂限制分布，再到数值解的探索麻烦。

例如，这是四个 STAN 链的输出，它们以不同的后验模式结束，取自Michael Betancourt最近关于混合物可识别性的讨论：

其它你可能感兴趣的问题

上一篇需要更平滑的拟合曲线下一篇关于如何拆分数据的任何理论？