给定均值和标准差的正连续变量的最大熵概率密度函数是多少?

机器算法验证 分布 标准差 意思是 最大熵
2022-02-03 02:33:52

给定第一个矩和第二个矩,正连续变量最大熵分布是多少?

例如,高斯分布是给定均值和标准差的无界变量的最大熵分布,而伽玛分布是给定正变量的均值和对数均值的最大熵分布。

2个回答

可以简单地使用您指向的维基百科文章中的玻尔兹曼定理

请注意,指定均值和方差等同于指定前两个原始矩——每个矩决定另一个(实际上没有必要调用它,因为我们可以将定理直接应用于均值和方差,这种方式更简单一些)。

然后,该定理确定密度必须是以下形式:

f(x)=cexp(λ1x+λ2x2) for all x0

正实线上的可积性将限制 s之间的关系设置了一些限制(当从指定的均值和方差而不是原始矩开始时,这可能会自动满足)。λ20λ

令我惊讶的是(因为当我开始这个答案时我没想到它),这似乎给我们留下了截断的正态分布。

碰巧的是,我认为我以前没有使用过这个定理,因此欢迎对我没有考虑或遗漏的任何内容提出批评或有用的建议。

我想让@Glen_b 的答案更明确,这是一个额外的答案,只是因为它不适合作为评论。

Jaynes 的书的第 11 章和第 12 章很好地解释了形式主义等以均匀分布作为基本度量,正如@Glen_b 已经说过的,一般解决方案是高斯 对于无界变量,您可以根据约束值(维基百科文章中的 ) 显式求解拉格朗日乘数,你会得到,所以标准高斯

f(x)N(x|1/2λ1/λ2,1/(2λ2))
λ1λ2a1,a2a1=μ,a2=μ2+σ2λ1=μ/σ2,λ2=0.5σ2N(x|μ,σ2)

对于有界变量 ,由于计算配分函数时出现的误差函数项(维基百科中),我(和 mathematica)无法再显式求解这意味着截断高斯的参数不是您开始使用的连续变量的均值和方差。甚至可能发生对于,高斯的模式是负的!当然,当您使用 时,这些数字都会再次一致。x>xminλ1,21/cμσ2xmin=0xmin

如果你有的具体值,你仍然可以用数值求解并将解代入一般方程,你就完成了!的值可能是数值求解器的一个很好的起点。a1,a2λ1,2λ1,2

这个问题是https://math.stackexchange.com/questions/598608/what-is-the-maximum-entropy-distribution-for-a-continuous-random-variable-on-0的副本