我正在使用 EM 算法来最大化部分观察到的可能性。但是，我有一些疑问。通常，该算法工作正常。我可以打印我试图最小化的观察数据的对数似然值，并且这些值不断下降并收敛。但是，有时，我可以看到它会下降一段时间，然后开始增加。这可能是什么原因？就代码而言，我很确定它很好。有什么建议么？
使用期望最大化算法的问题
机器算法验证
最大似然
优化
期望值
收敛
期望最大化
2022-03-29 02:32:59
1个回答
想到的三种可能性：
- 数值稳定性问题：由于您正在处理的数字的规模，浮点表示会导致可能变得重要的小不准确。这通常发生在以非常不同的比例组合数字时。
- 不正确的可能性/梯度：您可能错误地计算了可能性或梯度。
- EM 的不正确实现：你之前有没有实现过 EM？对算法的理解可能存在一些差距（没有不尊重的意思）。
根据您的描述，这听起来可能是数字问题。