机器算法验证 - Kullback-Leibler 散度：负值？ - 吾爱随笔录

Kullback-Leibler 散度：负值？

机器算法验证 kullback-leibler

2022-03-23 01:47:48

Wikipedia - KL properties说 KL 永远不会是负数。但是例如对于概率很小的文本，我会以某种方式得到负值？例如

集合 A：-字数：321 文档数：65888 概率：0,004871904

集合 B：-字数：1244 文档数：120344 probB：=0,010337034

KL = $0.004871904 \cdot \ln\frac{0.004871904}{0.010337034} = -0.003664881$

1个回答

KL-divergence 是q的所有值上的总和。您的方程式中只有一个实例（）。例如，如果您的模型是二项式的（您的文档中只出现了两个可能的单词）并且在文档 1 中为 0.005，在文档 2 中为 0.01，那么您将有： $q(i)\log\frac{q(i)}{p(i)}$ $i$ $i$ $Pr(word1)$

K L = 0.005 * \log \frac{0.005}{0.01} + 0.995 * \log \frac{0.995}{0.99} = 0.001547 \geq 0.

$\begin{equation} KL = 0.005*\log\frac{0.005}{0.01} + 0.995*\log\frac{0.995}{0.99} = 0.001547 \geq 0. \end{equation}$

根据 Gibbs 不等式，这个总和（或连续随机变量的积分）将始终为正（参见http://en.wikipedia.org/wiki/Gibbs%27_inequality）。

其它你可能感兴趣的问题

上一篇内核化 k 最近邻下一篇R 仅替代 BUGS