高斯混合模型的不同协方差类型

机器算法验证 协方差矩阵 高斯混合分布
2022-02-05 09:36:17

在这里尝试高斯混合模型时,我发现了这 4 种协方差。

'full' (each component has its own general covariance matrix),
'tied' (all components share the same general covariance matrix),
'diag' (each component has its own diagonal covariance matrix),
'spherical' (each component has its own single variance).

我搜索了很多以找到有关每种类型的更多详细信息,但仅找到了非常高级的描述(例如this)。

感谢有人可以帮助我理解这些,或者至少将我引导到我可以阅读这些内容的地方。

1个回答

高斯分布完全由其协方差矩阵及其均值(空间中的位置)决定。高斯分布的协方差矩阵决定了其密度等高线的轴的方向和长度,所有这些都是椭圆体。

这四种类型的混合模型可以使用二维情况完全概括地说明。在混合密度的每一个等高线图中,两个分量位于(0,0)(4,5)带重物3/52/5分别。即使协方差矩阵相同,不同的权重也会导致轮廓集看起来略有不同,但是对于相同的矩阵,各个轮廓的整体形状仍然相似。

数字

单击图像将显示更高分辨率的版本。

注意这些是实际混合物的图,而不是单个组分的图。由于组件分离良好且重量相当,因此混合物轮廓与组件轮廓非常相似(除了在可能扭曲和合并的低级别,例如“捆绑”图的中心所示)。

  • 完全意味着组件可以独立地采用任何位置和形状。

  • 捆绑意味着它们具有相同的形状,但形状可以是任何东西。

  • 对角线表示轮廓轴沿坐标轴定向,但否则偏心率可能会因组件而异。

  • 绑定对角线是一种“绑定”情况,其中轮廓轴沿坐标轴定向。(我添加了这个,因为最初这是我误解“对角线”的方式。)

  • 球形是具有圆形轮廓的“对角线”情况(更高维度的球形,因此得名)。

这展示了从最一般的可能混合物到非常特定类型的混合物的范围。其他(更复杂的)限制是可能的,特别是在参数数量快速增长的更高维度中。(协方差矩阵n尺寸描述为n(n+1)/2独立参数。)