假设，我们有几个数据生成措施$P_{1}, \dots, P_{k}$和$Q$，都定义在同一个概率空间上。接下来，假设我们有相同数量的独立采样数据$P_{1}, \dots, P_{k}$和一些数据来自$Q$我们的目标是找到哪个分布$P_{1}, \dots, P_{k}$是最接近的$Q$是KL-divergence的感觉。

KL-散度，$D_{KL}(P_{i}||Q) = \int_{-\infty}^{\infty}p(x)\log\left(\frac{p(x)}{q(x)}\right)dx \neq D_{KL}(Q||P_{i})$, 不是对称的。

因此，如果我们比较$Q$对所有人$P_{i}$， 哪一个$D_{KL}(P_{i}||Q)$或者$D_{KL}(Q||P_{i})$， 为了$i = 1, \dots, k$作为标准考虑是否正确？

据我所知，在 AIK 标准中，一个适用于$D_{KL}(Q||P_{i})$案子。

更新：

我的困惑部分来自以下事实，即 KL 是一个预度量，它在概率分布空间上生成拓扑。让我们考虑措施的顺序$U_{1}, \dots, U_{n}$. 那么如果