EM算法是否一致地估计高斯混合模型中的参数?

机器算法验证 自习 期望最大化 高斯混合分布 一致性
2022-03-01 00:43:16

我正在研究高斯混合模型并自己提出这个问题。

假设基础数据是从混合生成的K高斯分布,每个都有一个均值向量μkRp, 在哪里1kK并且它们每个都有相同的协方差矩阵Σ并假设这个Σ是对角矩阵。并假设混合比为1/K,即每个簇具有相同的权重。

所以在这个理想的例子中,唯一的工作就是估计K平均向量μkRp, 在哪里1kK和协方差矩阵Σ.

我的问题是:如果我们使用 EM 算法,我们是否能够一致地估计μkΣ,即当样本量n, EM算法产生的估计量是否达到真实值μkΣ?

1个回答

如果算法每次都用随机值初始化,那么不,收敛不一定是一致的。非随机初始化可能每次都会产生相同的结果,但我不认为这会产生“正确”的值μk.

顺便说一句,通过将混合比固定为1/K并固定Σ是对角的,算法变得非常类似于k-意味着算法。这也有不一致的收敛,取决于随机初始化。