我想知道称为期望最大化(EM)和专业化最小化的两种方法之间的关系。其中之一,EM算法可用于通过引入潜在变量来寻找似然或后验分布的模式。在 Bishop,BRML 的书中,他声称,具有潜在变量的新分布很容易优化。大化最小化方法基于相同的思想,即可以引入另一个成本函数,该函数迭代收敛到难以最大化的原始成本函数。
让我们采用以下模型:其中是高斯随机变量。该模型中的最大似然估计对应于对二次项的优化。这个函数很容易优化,但是我们可以找到更复杂的模型,这些模型不容易优化,因此引入了一种替代的成本函数,它迭代地收敛到原始的成本函数(Majorization minimisation)。EM 算法实现了类似的目标,但引入了概率概念,例如潜在变量。
我想知道这两种算法对于某些特殊情况是否等效。或者如果它们完全不同,它们之间的关系是什么?谢谢!