一种混合物分布将不同的分量分布与通常总和为一（或可以重新归一化）的权重组合在一起。一种高斯混合是分量为高斯的特殊情况。

例如，这里是 25% 的混合物$N(-2,1)$和 75%$N(2,1)$，你可以称之为“一个部分$N(-2,1)$和三个部分$N(2,1)$“：

xx <- seq(-5,5,by=.01)
plot(xx,0.25*dnorm(xx,-2,1)+0.75*dnorm(xx,2,1),type="l",xlab="",ylab="")

本质上，它就像一个食谱。稍微调整一下权重、均值和方差，看看会发生什么，或者查看 CV 上的两个标签。

是的，以这种方式调用高斯混合是因为假设观察到的数据来自高斯混合分布，该分布包括$K$具有自己的均值和方差的高斯。然而$K$类是潜在的，指示观察值属于哪个类的指标也是如此。

混合建模的目标现在是为每个观察估计最可能的类别。因此，高斯混合建模可以看作是一个缺失数据的问题。估计通常使用 EM 算法完成。

假设一家工厂生产小部件，最初具有一种特定的尺寸。它的输出可以用高斯分布来描述，其中均值代表物品的所需尺寸，方差来自制造过程中的...方差（操作员技能的差异、杂质等）。

在下一个班次中，工厂开始生产不同尺寸的小部件。这些产品也可以用具有新均值、新大小和可能不同方差的高斯来描述（可能较小的项目更难制造）。

高斯混合模型描述了所有班次的组合输出，就好像它们实际上是混合在一起的。它由一组高斯函数组成，每个高斯函数都有自己的均值和方差，以及表示每个函数贡献的权重和确保整个事物总和为一个的归一化常数。“生成故事”是每个项目都是通过首先根据其权重选择一个高斯，然后从该特定高斯中抽取样本来产生的。

在实践中，我们经常希望反向运行这个过程。我们假设样本是由有限的、固定数量的高斯生成的，并通过 EM 算法恢复这些高斯的参数和“混合”权重。有了这个，我们就可以为每个示例找到最有可能的“生成器”。例如，我们可能知道工厂有两种尺寸的物品。拟合混合模型可以告诉我们，小尺寸为 1L（方差为 0.1），而大尺寸为 3 ± 0.3L。此外，我们可以确定以 2L 测量的特定物品是否更有可能来自“小”或“大”批次。