在数学上，经常看到期望最大化 (EM) 的表达式和算法对于混合模型来说通常更简单，但似乎几乎所有可以用 EM 解决的问题（如果不是所有问题）也可以用 MLE 解决（比如说， Newton-Raphson 方法，用于未闭合的表达式）。
然而，在文献中，似乎许多人更喜欢 EM 而不是其他方法（包括通过梯度下降来最小化 LL）；是因为它在这些模型中的简单性吗？还是因为其他原因？
为什么要使用 EM 而不是使用 MLE 的梯度下降？
机器算法验证
混合模式
最大似然
期望最大化
2022-02-05 11:16:17
1个回答
我认为这里有一些交叉的电线。统计文献中提到的 MLE 是最大似然估计。这是一个估计器。EM 算法，顾名思义，是一种经常用于计算 MLE 的算法。这些是苹果和橙子。
当 MLE 不是封闭形式时，一个常用的算法是 Newton-Raphson 算法，当你说“也可以用 MLE 解决”时，这可能是你所指的。在很多问题中，这个算法都很好用；对于“香草”问题，通常很难被击败。
但是，有很多问题会失败，例如混合模型。我对各种计算问题的经验是，虽然 EM 算法并不总是最快的选择，但由于各种原因，它通常是最简单的。很多时候，对于新模型，用于找到 MLE 的第一个算法将是 EM 算法。然后，几年后，研究人员可能会发现更复杂的算法明显更快。但是这些算法是不平凡的。
此外，我推测 EM 算法的流行很大程度上是因为它的统计风格，帮助统计学家感受到与数值分析师的区别。
其它你可能感兴趣的问题