是的，连续和离散随机变量之间的 KL 散度是明确定义的。如果$P$和$Q$是在某些空间上的分布$\mathbb{X}$, 那么两者$P$和$Q$有密度$f$,$g$关于$\mu = P+Q$和

例如，如果$\mathbb{X} = [0,1]$,$P$是勒贝格的测度并且$Q = \delta_0$是一个点质量$0$， 然后$f(x) = 1-\mathbb{1}_{x=0}$,$g(x) = \mathbb{1}_{x=0}$和

否：KL 散度仅在公共空间上的分布上定义。它询问一个点的概率密度$x$在两种不同的分布下，$p(x)$和$q(x)$. 如果$p$是一个分布在$\mathbb{R}^3$和$q$分布在$\mathbb{Z}$， 然后$q(x)$积分没有意义$p \in \mathbb{R}^3$和$p(z)$积分没有意义$z \in \mathbb{Z}$. 事实上，我们甚至不能对不同维空间上的两个连续分布（或离散的，或任何潜在概率空间不匹配的情况）进行此操作。

如果您考虑到特定情况，则可能会提出一些相似的分布之间的差异度量。例如，将连续分布编码为离散分布（显然会丢失信息）可能是有意义的，例如通过四舍五入到离散情况下的最近点。

一般不会。KL散度为

前提是$P$是绝对连续的$Q$和两者$P$和$Q$是$\sigma$-有限的（即在条件下$\frac{dP}{dQ}$是明确定义的）。

对于某些通常空间上的度量之间的“连续到离散”KL 散度，您会遇到 Lebesgue 度量相对于计数度量是绝对连续的情况，但计数度量不是$\sigma$-有限。