在研究高斯混合模型和期望最大化算法时,我还遇到了许多使用“判别训练”来解决 EM 算法的一些限制的模型的研究。特别是,最大互信息的使用非常普遍。
我理解最大化互信息背后的基本思想;但是,我无法找到任何提供估计均值、方差、混合参数和预测标签所涉及的方程的来源。
你能把它们和解释一起说明吗?
在研究高斯混合模型和期望最大化算法时,我还遇到了许多使用“判别训练”来解决 EM 算法的一些限制的模型的研究。特别是,最大互信息的使用非常普遍。
我理解最大化互信息背后的基本思想;但是,我无法找到任何提供估计均值、方差、混合参数和预测标签所涉及的方程的来源。
你能把它们和解释一起说明吗?
Multiclass Discriminative Training of i-vector Language Recognition,本文包含均值和协方差(对角线)的更新公式。
首先,您应该使用 ML 获得参数估计(因此从类数据中计算均值和协方差),然后根据公式 (16-20) 迭代更新它们。我不确定C0的含义。