机器算法验证 - 两个单变量泊松分布之间的 KL 散度 - 吾爱随笔录

机器算法验证分布 kullback-leibler

2022-03-22 11:00:39

我发现了这个很棒的线程，它显示了两个单变量高斯之间的 KL 散度。我想知道相同的公式是否适用于 KL 散度 b/w 2 单变量泊松分布。

或者我应该使用一般的 KL 散度公式并将 pdf 插入泊松过程：

\int p d f 1 (x) * l o g (p d f 1 (x) / p d f 2 (x))

$\int { pdf1(x)*{ log(pdf1(x)/pdf2(x))} }$

其中泊松是

p d f (x) = (λ^{x} / x!) * e^{- λ}

$pdf(x) = (\lambda^x / x!)*e^{-\lambda}$

1个回答

这是相当直截了当的。密度的对数比等于：

\log (\frac{f_{1}}{f_{2}}) = x \log (\frac{λ_{1}}{λ_{2}}) + λ_{2} - λ_{1}

$\log\left (\frac {f_1}{f_2}\right)=x\log\left (\frac {\lambda_1}{\lambda_2}\right)+\lambda_2-\lambda_1$

然后你期望这个表达式 wrt，它只是用它的期望替换（在这种情况下）。所以你有了： $f_1$ $x$

D_{K L} (f_{1} | | f_{2}) = λ_{1} \log (\frac{λ_{1}}{λ_{2}}) + λ_{2} - λ_{1}

$D_{KL} (f_1||f_2)=\lambda_1\log\left (\frac {\lambda_1}{\lambda_2}\right)+\lambda_2-\lambda_1$

其它你可能感兴趣的问题