高斯RV之和与高斯混合的关系

机器算法验证 正态分布 随机变量 混合分布 高斯混合分布
2022-03-06 21:34:41

我知道高斯的总和是高斯的。那么,高斯混合有什么不同呢?

我的意思是,高斯的混合只是高斯的总和(每个高斯乘以各自的混合系数)对吗?

3个回答

高斯随机变量 的加权和 是一个高斯随机变量: if 然后 X1,,Xp

i=1pβiXi
(X1,,Xp)Np(μ,Σ)
βT(X1,,Xp)N1(βTμ,βTΣβ)

高斯密度的混合具有作为高斯密度的加权和给出的密度其中几乎总是不等于高斯密度。参见例如下面的蓝色估计混合物密度(其中黄色带是估计混合物的可变性的量度):

f(;θ)=i=1pωiφ(;μi,σi)
在此处输入图像描述

[来源:Marin 和 Robert,贝叶斯核心,2007 年]

具有这种密度随机变量可以表示为 其中是多项式, :Xf(;θ)

X=i=1pI(Z=i)Xi=XZ
XiNp(μi,σi)ZP(Z=i)=ωi
ZM(1;ω1,,ωp)

这里有一些 R 代码来补充@Xi'an 的答案:

par(mfrow=c(2,1))
nsamples <- 100000

# Sum of two Gaussians
x1 <- rnorm(nsamples, mean=-10, sd=1)
x2 <- rnorm(nsamples, mean=10, sd=1)
hist(x1+x2, breaks=100)

# Mixture of two Gaussians
z <- runif(nsamples)<0.5 # assume mixture coefficients are (0.5,0.5)
x1_x2 <- rnorm(nsamples,mean=ifelse(z,-10,10),sd=1)
hist(x1_x2,breaks=100)

在此处输入图像描述

独立随机变量之和的分布是它们的分布的卷积正如您所注意到的,两个高斯的卷积恰好是高斯的。

混合模型的分布执行 RV 分布的加权平均(有限)混合模型的样本可以通过掷硬币(或掷骰子)来决定从哪个分布中抽取:假设我有两个 RV,我想生成一个 RV,其分布是如果我掷硬币,让如果我降落尾巴,让X,YZXYZ=XZ=Y