机器算法验证 - KL-Divergence 可以大于 1 吗？ - 吾爱随笔录

我一直在基于 KL-Divergence 构建一些测试统计数据，

D_{K L} (p ‖ q) = \sum_{i} p (i) \log (\frac{p (i)}{q (i)}),

$\begin{equation} D_{KL}(p \| q) = \sum_i p(i) \log\left(\frac{p(i)}{q(i)}\right), \end{equation}$

最后我的分布值为。请注意，这些分布支持 K 级别，所以我认为在这里绘制整个分布并不合理。 $1.9$ $140$

我想知道的是，KL-Divergence 是否可能大于 1？我看到的很多 KL-Divergence 的解释都是基于 1 的上限。如果它可以大于 1，KL-Divergence 超过 1 的解释是什么？

编辑：我知道这是一个不好的参考选择，但是关于 KL Divergence 的 Wikipedia 文章表明，“Kullback-Leibler 散度为 1 表明这两个分布的行为方式不同，以至于给定第一个分布的期望值接近于零。” 我曾认为这暗示这意味着 KL-Divergence 以 1 为界，但很明显这是文章中的错误。