计算高斯混合模型概率

机器算法验证 可能性 正态分布 混合分布
2022-03-09 13:01:23

我正在查看关于 SO 的这个问题的解决方案,它让我想到了计算高斯混合模型的概率。

假设您已经拟合了一些高斯混合模型,因此它会产生三个法线的混合:

X1N(μ1,σ12),X2N(μ2,σ22),X3N(μ3,σ32)
具有各自的权重从这里开始,取λ1,λ2λ3X=[X1,X2,X3]λ=[λ1,λ2,λ3]

通常,要找到该模型小于某个值的概率,我们会找到 x

P(λXTx)=i=13λiP(Xix)

我可能犯了一个编码错误,但似乎从上述公式获得的概率与我们以不同方式计算概率获得的概率不同: 其中

P(λXTx)=P(Yx)
YN(λμT,i=13λi2σi2)μ=[μ1,μ2,μ3]

如果是编码错误,请发表评论,我将删除此问题。

1个回答

是的,这两个概率应该不同,因为一个是混合的,另一个是总和的。看一个例子:

混合和求和 PDF

粗红色曲线是三个法线 ( ) 混合的概率密度函数。虚线是它的组成部分(每个都由缩放);他们是正常的。的加权均值和加权方差的正态分布的 pdf 这也是正常的。特别是,请注意混合具有多种模式的可能性(在这种情况下为三个,通常在 1 到 3 个之间)使得很清楚混合通常不是正态的,因为正态分布是单峰的。XλiY

混合可以建模为一个两步过程:首先绘制三个有序对之一 ,概率为 , , 和,分别。然后从您绘制的参数指定的正态分布中 绘制一个值(μ1,σ1)(μ2,σ2)(μ3,σ3)λ1λ2λ3X

加权平均值是从完全不同的过程中获得的:从带有参数的正态分布中独立地绘制一个值 ,以及来自带有参数的正态分布的值然后形成它们的总和X1(λ1μ1,λ1σ1)X2(λ2μ2,λ2σ2)X3(λ3μ3,λ3σ3)Y=X1+X2+X3