使用 MLE 学习混合高斯的参数

机器算法验证 估计 正态分布 期望最大化 混合分布
2022-04-01 21:12:15

似乎 MLE(通过 EM)被广泛用于机器学习/统计中,以学习混合高斯的参数。我假设我们从混合物中获得随机样本。

我的问题是:就样本数量(可能还有高斯参数)而言,误差是否存在任何已证实的定量界限?

例如,将参数估计到一定误差所需的运行时间是多少?

理想情况下,这些界限不会假设我们从最佳解决方案的本地邻域或任何此类事情开始。(如果 EM 不是首选方法并且有更好的方法,请同时指出这一点。)

1个回答

EM 本质上解决了最大似然问题,因此在样本大小方面具有相同的属性。众所周知,用于高斯混合模型的 EM 渐近收敛到局部最大值并表现出一阶收敛(参见本文)。

顺便说一句,有一些结果可以量化 EM 解决方案在数据分布参数方面的好坏。请参阅这篇论文,该论文表明,优度取决于混合成分的分离(通过方差衡量)。许多论文都使用此标准分析了混合模型。

如果您不想将 EM 用于混合模型,则可以采用完全贝叶斯方法