期望最大化和多数化最小化之间的关系

机器算法验证 优化 期望最大化
2022-03-27 08:43:45

我想知道称为期望最大化(EM)和专业化最小化的两种方法之间的关系。其中之一,EM算法可用于通过引入潜在变量来寻找似然或后验分布的模式。在 Bishop,BRML 的书中,他声称,具有潜在变量的新分布很容易优化。大化最小化方法基于相同的思想,即可以引入另一个成本函数,该函数迭代收敛到难以最大化的原始成本函数。

让我们采用以下模型:其中是高斯随机变量。该模型中的最大似然估计对应于对二次项的优化。这个函数很容易优化,但是我们可以找到更复杂的模型,这些模型不容易优化,因此引入了一种替代的成本函数,它迭代地收敛到原始的成本函数(Majorization minimisation)。EM 算法实现了类似的目标,但引入了概率概念,例如潜在变量。

y=x+η
ηyx22

我想知道这两种算法对于某些特殊情况是否等效。或者如果它们完全不同,它们之间的关系是什么?谢谢!

1个回答

Minorant Maximization 算法的一般思想是: (a) 具有支配函数的近似目标函数。(b) 逼近函数。(c) 返回 (a),逼近新坐标。

MM的“味道”是通过逼近法和爬升法给出的。EM 是一个特殊的实例,其中使用了目标函数在不同点的凸组合或近似。通过 Jenessen 不等式 (JI),此近似由目标函数主导。单独的凸性仍然允许无穷无尽的近似函数。事实证明(给定目标函数的正则性假设)目标函数存在单个凸组合,它也在逼近点处相切。这个函数恰好有一个很好的概率解释,它被称为 EM 的 E 步。

总之,EM 确实是 MM 的一个特殊实例,尽管据我所知,首先是 EM,然后是泛化。