机器算法验证 - 为什么使用高斯混合模型？ - 吾爱随笔录

为什么使用高斯混合模型？

机器算法验证正态分布无监督学习高斯混合分布

2022-03-22 08:02:42

我正在学习高斯混合模型（GMM），但我对为什么任何人都应该使用这个算法感到困惑。

在聚类方面，该算法如何优于其他标准聚类算法（例如 -means）？意味着算法将数据划分为具有明确集合成员资格的个集群，而高斯混合模型不会为每个数据点生成明确的集合成员资格。用 GMM 说一个数据点更接近另一个数据点的度量标准是什么？ $K$ $K$ $K$
如何利用 GMM 产生的最终概率分布？假设我获得了最终的概率分布，其中是权重，那又如何？我已经获得了适合我的数据的概率分布。我能用它做什么？ $f(x|w)$ $w$ $x$
继续我之前的观点，对于意味着，最后我们获得了一组个簇，我们可以将其表示为集合，它们是个事物。但是对于 GMM，我得到的只是一个分布这是件事。这怎么能用于将事物聚类到集群中？ $K$ $K$ $\{S_1, \ldots, S_K\}$ $K$ $f(x|w) = \sum\limits_{i=1}^N w_i \mathcal{N}(x|\mu_i, \Sigma_i)$ $1$ $K$

2个回答

我将借用（1）中的符号，在我看来它很好地描述了 GMM。假设我们有一个特征。的分布进行建模，我们可以拟合以下形式的 GMM $X \in \mathbb{R}^d$ $X$

f (x) = \sum_{m = 1}^{M} α_{m} ϕ (x; μ_{m}; Σ_{m})

$f(x)=\sum_{m=1}^{M} \alpha_m \phi(x;\mu_m;\Sigma_m)$ 其中是混合物中成分的数量，个成分的混合物重量和是具有平均和协方差矩阵的高斯密度函数。使用 EM 算法（它与 K-Means 的联系在这个答案中进行了解释）我们可以获取模型参数的估计值，我将在这里用帽子表示（。所以，我们的 GMM 现在已经安装到上，让我们使用它吧！

M

$M$

α_{m}

$\alpha_m$

m

$m$

ϕ (x; μ_{m}; Σ_{m})

$\phi(x;\mu_m;\Sigma_m)$

μ_{m}

$\mu_m$

Σ_{m}

$\Sigma_m$

{\hat{α}}_{m}, {\hat{μ}}_{m}, {\hat{Σ}}_{m})

$\hat{\alpha}_m, \hat{\mu}_m,\hat{\Sigma}_m)$

X

$X$

这解决了您的问题 1 和 3

用 GMM 说一个数据点更接近另一个数据点的度量标准是什么？
[...]
这怎么能用于将事物聚类到 K 集群中？

由于我们现在有一个分布的概率模型，因此我们可以计算给定实例属于组件的后验概率，这有时被称为组件对（产生） (2 ) ，记为 $x_i$ $m$ $m$ $x_i$ $\hat{r}_{im}$

{\hat{r}}_{i m} = \frac{{\hat{α}}_{m} ϕ (x_{i}; μ_{m}; Σ_{m})}{\sum_{k = 1}^{M} {\hat{α}}_{k} ϕ (x_{i}; μ_{k}; Σ_{k})}

$\hat{r}_{im} = \frac{\hat{\alpha}_m \phi(x_i;\mu_m;\Sigma_m)}{\sum_{k=1}^{M}\hat{\alpha}_k \phi(x_i;\mu_k;\Sigma_k)}$

属于不同分量的概率。这正是 GMM 可用于对数据进行聚类的方式。 $x_i$

当 K 的选择不太适合数据或子总体的形状不同时，K-Means 可能会遇到问题。scikit-learn 文档包含此类案例的有趣说明

GMM 协方差矩阵形状的选择会影响组件可以采用的形状，这里 scikit-learn 文档再次提供了说明

虽然选择不当的集群/组件数量也会影响 EM 拟合的 GMM，但以贝叶斯方式拟合的 GMM 可以在一定程度上抵抗这种影响，允许某些组件的混合权重（接近）为零。更多信息可以在这里找到。

参考

(1) 弗里德曼、杰罗姆、特雷弗·哈斯蒂和罗伯特·蒂布希拉尼。统计学习的要素。卷。1. 第 10 期。纽约：Springer 系列统计，2001。
(2) Bishop, Christopher M. 模式识别和机器学习。斯普林格，2006 年。

在聚类方面，该算法如何优于其他标准聚类算法（例如 -means）？ $K$

k-means 非常适合大小大致为球形的集群。如果违反了这些条件，它可能会失败（尽管如果集群非常分开，它可能仍然有效）。GMM 可以适应具有更多形状和大小的集群。但是，这两种算法都不太适合具有弯曲/非凸簇的数据。
GMM 给出了点到簇的概率分配。这让我们可以量化不确定性。例如，如果一个点靠近两个集群之间的“边界”，通常最好知道它在这些集群中具有几乎相等的成员概率，而不是盲目地将其分配给最近的一个。
GMM 的概率公式让我们可以使用贝叶斯方法结合先验知识。例如，我们可能已经知道集群的形状或位置，或者它们包含多少个点。
概率公式提供了一种处理缺失数据的方法（例如，使用通常用于拟合 GMM 的期望最大化算法）。即使我们没有在某些维度上观察到它的值，我们仍然可以对数据点进行聚类。而且，我们可以推断出这些缺失值可能是什么。

...这 $K$ 意味着算法将数据划分为 $K$ 具有明确集合成员的聚类，而高斯混合模型不会为每个数据点生成明确的集合成员。用 GMM 说一个数据点更接近另一个数据点的度量标准是什么？

GMM 给出了每个点属于每个集群的概率（见下文）。可以使用决策规则将这些概率转换为“硬分配”。例如，最简单的选择是将每个点分配给最可能的集群（即具有最高成员概率的集群）。

如何利用 GMM 产生的最终概率分布？假设我获得了我的最终概率分布 $f(x|w)$ 在哪里 $w$ 是权重，那又怎样？我获得了适合我的数据的概率分布 $x$ . 我能用它做什么？

这里只是几种可能性。你可以：

执行聚类（包括硬分配，如上所述）。
估算缺失值（如上）。
检测异常（即概率密度低的点）。
了解一些有关数据结构的信息。
从模型中采样以生成新的合成数据点。

为了跟进我之前的观点，对于 $K$ 意味着，最后我们得到一组 $K$ 簇，我们可以将其表示为集合 $\{S_1, \ldots, S_K\}$ ，哪个是 $K$ 事物。但是对于 GMM，我得到的只是一种分布 $f(x|w) = \sum\limits_{i=1}^N w_i \mathcal{N}(x|\mu_i, \Sigma_i)$ 这是 $1$ 事物。这怎么能用于将事物聚类成 $K$ 簇？

你写的表达式是观测数据的分布。然而，GMM 可以被认为是一个潜在的变量模型。每个数据点都与一个潜在变量相关联，该变量指示它属于哪个集群。在拟合 GMM 时，我们学习了这些潜在变量的分布。这给出了每个数据点是每个集群的成员的概率。

其它你可能感兴趣的问题

上一篇将“外部”数据集添加到训练数据集中通常有帮助吗？下一篇非正态特征的标准化