机器算法验证 - KL 散度之间的分布可能是无穷大 - 吾爱随笔录

KL 散度之间的分布可能是无穷大

机器算法验证可能性分布信息论 kullback-leibler 不可缺少的

2022-03-23 05:16:19

我知道 KL 散度衡量两个概率分布之间的差异。我的疑问是它可以成为无限的分布，换句话说，P(x)它必须产生Q(x)不能产生的值。

或者Q(x)必须在0哪里P(x)没有，因为KL散度如下：

\int_{- \infty}^{\infty} {\log \frac{P (x)}{Q (x)}} P (x) d x

$\int_{-\infty}^{\infty}\{\log\frac{P(x)}{Q(x)}\}P(x)dx$

谁能告诉我，通过选择 P(x) 和 Q(x) 的哪些概率分布，我们可以实现 KL 散度为无穷大。

我认为选择 P(x) 作为均匀分布，选择 Q(x) 作为高斯分布可以得到无穷大，对吗？

1个回答

当和/或为零时，从严格意义上讲，零的对数是未定义的，因为没有的值使得。但是，KL 散度的定义使用以下约定（参见 Cover 和 Thomas，信息理论的要素）： $D_{KL}(p \parallel q)$ $p(x)$ $q(x)$ $x$ $e^x = 0$

0 \log \frac{0}{0} = 0, 0 \log \frac{0}{q (x)} = 0, p (x) \log \frac{p (x)}{0} = \infty

$0 \log \frac{0}{0} = 0, \quad 0 \log \frac{0}{q(x)} = 0, \quad p(x) \log \frac{p(x)}{0} = \infty$

这意味着如果存在q的 x ，则 KL 散度是无限的。相反，为零不会产生无穷大，无论是否也为零。另一种说法是，只有当的支持包含在的支持中时，KL 散度才是有限的。但是，请注意，即使和对于所有都不为零，KL 散度也可能是无限的（参见此处的示例）。 $x$ $p(x) > 0$ $q(x) = 0$ $p(x)$ $q(x)$ $p$ $q$ $p(x)$ $q(x)$ $x$

关于您的示例，这意味着如果是高斯且是均匀的，则 KL 散度将是无限的，但反之则不然。 $p$ $q$

其它你可能感兴趣的问题

上一篇如何最容易过拟合？下一篇“抽样”和“二次抽样”的区别？