你通常想要$KL(Q||P)$. 那是从 $P$ 至 $Q$. 我记得它是从右到左的，就像条件概率的符号一样。

您希望对真实分布采取期望$P$. 这样，根据大数定律，可以假设样本平均值收敛到真实预期。

KL 散度不是距离，这就是使用替代词散度的原因。如果你想要对称，你可以取$KL(Q||P)$和$KL(P||Q)$如链接帖子中的答案之一所述。

直觉是你不知道真实的分布$Q$所以你对真实分布进行估计或猜测$P$. 两者可能在同一个参数族中，也可能根本不相似。因此，要了解您分配的概率（事件的视图）与真实概率（两个观点的分歧程度）有多远的概念，您需要在估计的概率下进行期望。但是，您仍然希望这种分歧是$0$如果您以某种方式指定了确切的模型，以确保您减去该真实值。使用对数属性$log(x/y) =log(x) - log(y)$然后给你KL散度方程。