在对高斯混合模型 (GMM) 进行最大似然 (ML) 推断时,Bishop 在PRML中指出,如果 GMM 中存在多个混合分量并且一个高斯的平均值塌陷到一个数据点上,则可能当高斯的方差缩小到零时,似然函数会爆炸到无穷大。(这可能发生,例如,当有一个“明显”的集群和一个非常远的数据点,并且有两个混合组件时。)我知道我们通过声称一个组件的方差来过度拟合训练数据是当它真的可能不是时接近于零。但是在 GMM 上进行 ML 是否会带来任何可能阻止人们找到解决方案的理论问题?使用EM算法是否仍然可以找到解决方案?
高斯混合的最大似然估计
机器算法验证
最大似然
高斯混合分布
2022-04-14 12:17:11
2个回答
首先关于消失方差的实际问题,大多数 GMM 的实现都会限制方差可以达到多小,您可以根据您的具体问题将最小值设置为某个较小的值。
其次,保证 EM 可以改进目标函数(ML 的可能性)或保持不变。每次迭代后,参数都会更新。如果参数已经收敛,则您有一个局部最优值,这是您的最终解决方案。简短的回答是没有什么能阻止你找到这样的解决方案——如果你有必要的预防措施来防止方差变为零。
在这种情况下(像许多其他情况一样:HMM,ME)你应该小心使用你可能的逻辑表示,即存储 log(v) 而不是 v 值 v。重要的一点是避免浮点下溢/溢出。
其它你可能感兴趣的问题