机器算法验证 - 伽玛分布和对数正态分布之间的KL散度？ - 吾爱随笔录

机器算法验证分布期望值伽马分布对数正态分布 kullback-leibler

2022-03-22 10:35:27

以下KL 散度是否有封闭式公式？

$D_{KL}(X,Y)$

在哪里

$X \sim \mathrm{Gamma}(k,\theta)$

和

$Y \sim \mathrm{LogNormal}(\mu,\sigma^2)$

1个回答

给定：让我们的随机变量具有 pdf： $\text{Gamma}(k,\theta)$ $f(x)$

并让我们的随机变量具有 pdf： $\text{Lognormal}(\mu, \sigma)$ $g(x)$

和对数正态近似之间的 Kullback-Leibler 散度由下式给出： $f$ $g$

E_{f} [\log f (x)] - E_{f} [\log g (x)]

$E_f\big[\log f(x)\big] - E_f\big[\log g(x)\big]$

第一项是： $E_f\big[\log f(x)\big]$

第二项是： $E_f\big[\log g(x)\big]$

解决方案是。 $P-Q$

笔记：

该Expect函数来自Mathematica的mathStatica包。
PolyGamma[n,z]表示 digamma 函数的导数 $n^{th}$ $\psi(z)=\frac{\Gamma'(z)}{\Gamma(z)}$

其它你可能感兴趣的问题