我将使用我在Intuition on the Kullback-Leibler (KL) Divergence 上的答案重新表述。由于我是一名统计学家，我对可能性比对熵更满意，但我也认为这提供了更多的直觉。现在熵。所以熵只是负预期对数似然。类似地，交叉熵是（负）预期的对数似然，但现在不是在“它自己的真理”下计算，而是在其他分布下，在其他一些真理下计算。我们可以用它来表示分歧为 和 $\DeclareMathOperator{\E}{\mathbb{E}} H(X) =-\sum_x p(x) \log p(x) =-\E_p \log p$

$$\text{D}_\text{KL}(p || q) = \E_p \log p - \E_p \log q \label{*} \tag{*}$$ $$\text{D}_\text{KL}(q || p) = \E_q \log q - \E_q \log p \label{**} \tag{**}$$ 使用上述链接帖子的解释，是在对数似然比的备选方案下测试与备选方案的期望。在您的设置中，是一个已知分布，我们假设它是多模态的。在的情况下，是零分布，并且当期望在 p 下计算时，很难拒绝替代的散度很小。但这意味着$\text{D}_\text{KL}(p || q)$$H_0\colon q$$p$$p$$\eqref{*}$$q$$q$$p$$p$$p$将有助于期望，因此更好的是在所有这些模式中都有一些质量。有它的任何地方都有一定概率的分布。$q$$p$

然后转到。现在难以拒绝替代时，散度很小，并且期望在下计算。所以在这种情况下，如果省略了的一些模式，那没关系，因为那里的大似然比对期望没有贡献！所以书中的结论确实是正确的。$\eqref{**}$$p$$p$$q$$q$$q$$p$

另一个评论：在中，如果已知分布是经验数据分布，我们找到一个模型最接近它，我们得到有效的最大似然。$\eqref{*}$$p$$q$

首先，KL散度$D_{KL}(p||q)$是相对熵、相对熵的同义词$p$关于$q$.

然后熵变成了随机变量的自信息。互信息是称为相对熵的更一般量的特例，相对熵是两个概率分布之间距离的度量。

来源：熵、相对熵和互信息

其次，熵与相对熵有关，相对熵$p$关于均匀分布。

直观地说，具有概率分布的随机变量 X 的熵$p(x)$与多少有关$p(x)$与支持度上的均匀分布不同$X$. 越多$p(x)$其熵越小，其发散越小，反之亦然。

$$\begin{align} H(X) &= \sum_{x\in X}p(x)\log \frac{1}{p(x)} \\ &=log|X| - \sum_{x\in X}p(x)\log\frac{p(x)}{\frac{1}{|X|}} \\ &=\log|X|-D(p||uniform) \end{align}$$

资料来源： COS597D：计算机科学中的信息论的第 1.2 节

然后你的问题（标题）可以改写为“相对熵之间的关系$p$关系到$q$和相对熵$q$相对于均匀分布”。不可能$p$偏离$q$涉及到如何$q$偏离均匀分布，因为$p$和$q$可以是任何分布对。

熵不应该是$q$最小化时更大$D_{KL}(q \:||\: p)$比最小化时$D_{KL}(p \:||\: q)$（每个wrt参数$q$)?

不。

这两个相对熵只是没有相互关联。的相对熵$q$相对于均匀分布并不取决于您要最小化的相对熵（因为$p$可以变化）。