两个连续分布和的Kullback-Leibler (KL) 散度定义为$P(x)$$Q(x)$

$$D_{KL}(P \mid\mid Q) = \int_{X} P(x) \log{\left[\frac{P(x)}{Q(x)}\right]} dx$$

是狄拉克增量函数时，如何计算 KL 散度？$Q$$Q(x)=\delta(x-x_0)$

当然，我们可以将上面的对数展开为

$$D_{KL}(P \mid\mid Q) = \int_{X} P(x) \log{\left[P(x)\right]} dx - \int_{X} P(x) \log{\left[\delta(x-x_0)\right]} dx$$

对于所有和对于，如何评估右侧的积分？$-\infty$$x \ne x_0$$\infty$$x=x_0$