根据模式识别和机器学习(Bishop,2007)的第 10 章,我正在实现多元高斯的普通变分混合。
贝叶斯方法需要为 Gaussian-inverse-Wishart 先验指定(超)参数:
- (Dirichlet 先验的浓度参数);
- (逆Wishart分布的自由度);
- (高斯逆 Wishart 分布的伪观察);
- (高斯分布的平均值)。
- (逆 Wishart 的比例矩阵)。
常见的选择是,,,,, 在哪里是空间的维度。
不出所料,后验很大程度上取决于参数的选择(特别是,我发现对元件数量的影响很大,远多于)。为了和,只有在数据经过某种程度标准化的情况下,上述选择才有意义。
遵循一种经验贝叶斯方法,我正在考虑设置和等于数据的经验均值和经验协方差矩阵(对于后者,我可能只考虑对角线;另外,我需要将样本协方差矩阵乘以)。这会是明智的吗?对其他合理的参数设置方法有什么建议吗?(没有完全分层的贝叶斯和 DPGMM)
(这里有一个类似的问题,但没有与我的问题相关的答案。)