在这样的计算中使用对数来自信息论。在 KL 散度的特定情况下，该度量可以解释为两个分布的相对信息：

$$\begin{equation} \begin{aligned} KL(\tilde{f} \parallel f_\theta) &= \int \limits_{-\infty}^\infty \tilde{f}(x) (\log \tilde{f}(x) - \log f_\theta (x)) \ dx \\[6pt] &= \Bigg( \underbrace{- \int \limits_{-\infty}^\infty \tilde{f}(x) \log f_\theta(x) \ dx}_{H(\tilde{f}, f_\theta)} \Bigg) - \Bigg( \underbrace{- \int \limits_{-\infty}^\infty \tilde{f}(x) \log \tilde{f}(x) \ dx}_{H(\tilde{f})} \Bigg), \\[6pt] \end{aligned} \end{equation}$$

在哪里$H(\tilde{f})$是熵_$\tilde{f}$和$H(\tilde{f}, f_\theta)$是交叉熵$\tilde{f}$和$f_\theta$. 熵可以看作是密度产生的平均速率的度量（认为交叉熵有点复杂）。最小化固定值的 KL 散度$\tilde{f}$（如您提到的问题）等效于最小化交叉熵，因此可以对这种优化进行信息论解释。

我不可能在一篇简短的文章中很好地说明信息论和信息度量的属性。但是，我建议您查看该领域，因为它与统计数据有密切的联系。许多涉及密度对数的积分和总和的统计量度是量度理论中使用的标准信息量度的简单组合，在这种情况下，可以根据各种密度等信息的基础水平对它们进行解释。