EM算法的收敛速度？

机器算法验证 收敛 期望最大化
2022-03-12 09:08:45

关于 EM 算法的收敛速度，一般可以说什么？

例如，如果我让参数为θ, 起点为θ0, 最优解是θ∗， 以便||θt−θ∗||<α||θ0−θ∗||, 可以说什么α一般来说？

另外，我们如何证明它比其他方法慢（如 Newton-Rapson，Expected Conjugate Gradient）？

1个回答

在一般情况下，您需要验证您的问题设置是否满足 EM 算法收敛到局部最大值的静止点的某些属性。全局最大值需要进一步的要求。假设满足这些标准，您就可以量化收敛到全局最优的速率。

在一般情况下（假设您有全局最优），您通常可以说的最多的是 EM 算法是一阶算法。一阶算法是这样的算法：

|θk+1−θ∗|≤γ|θk−θ∗|.

如果γ=1那么收敛是线性的，如果1<γ<2则称该算法具有超线性收敛性，如果γ=2是二次收敛。收敛速度实际上取决于问题的具体情况。如果您想了解更多详细信息，McLachlin 和 Krishnan的书中给出了许多示例和 EM 算法收敛速度的教学介绍。
Xu 和 Jordan对混合高斯情况进行了深入研究。

其它你可能感兴趣的问题
上一篇keras中的时代意义？ 下一篇逻辑回归的 AUC 分数小于 0.5