假设给定 n 个由 p 或 q 生成的 IID 样本。您想确定是哪个发行版生成了它们。假设它们是由 q 生成的。令 a 表示第一类错误的概率，错误地拒绝原假设，b 表示第二类错误的概率。

那么对于较大的 n，I 类错误的概率至少为

$\exp(-n \text{KL}(p,q))$

换句话说，对于“最佳”决策过程，类型 I 的概率最多下降每个数据点的 exp(KL(p,q)) 因子。II 类错误最多下降的因子。$\exp(\text{KL}(q,p))$

对于任意n，a和b的关系如下

$b \log \frac{b}{1-a}+(1-b)\log \frac{1-b}{a} \le n \text{KL}(p,q)$

和

$a \log \frac{a}{1-b}+(1-a)\log \frac{1-a}{b} \le n \text{KL}(q,p)$

如果我们用 b 和 KL 将上述界限表示为 a 的下限并将 b 减小到 0，即使对于小的 n，结果似乎也接近“exp(-n KL(q,p))”界限

更多详细信息请参见此处的第 10页，以及 Kullback 的“信息理论与统计”（1978 年）的第 74-77 页。

作为旁注，这种解释可用于激发Fisher 信息度量，因为对于彼此之间的 Fisher 距离为 k（小 k）的任何一对分布 p,q，您需要相同数量的观察来区分它们

当您将一组牙体可视化为 Fisher 度量张量内的流形时，KL 具有深刻的含义，它给出了两个“接近”分布之间的测地线距离。正式地：

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

以下几行将详细解释这个 las 数学公式的含义。

Fisher 度量的定义。

考虑一个参数化的概率分布族中的密度给出），其中是随机变量，theta 是中的参数。大家可能都知道 Fisher 信息矩阵是$D=(f(x, \theta ))$$R^n$$x$$R^p$$F=(F_{ij})$

$F_{ij}=E[d(\log f(x,\theta))/d \theta_i d(\log f(x,\theta))/d \theta_j]$

使用这种表示法是黎曼流形，是黎曼度量张量。（这个度量的兴趣由 cramer Rao 下界定理给出）$D$$F(\theta)$

你可能会说……好的数学抽象，但是 KL 在哪里？

这不是数学抽象，如果你真的可以把你的参数化密度想象成一条曲线（而不是无限维空间的子集）并且连接到该曲线的曲率......（见Bradley Efron 的开创性论文http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1176343282 )$p=1$$F_{11}$

您问题中点 a/ 部分的几何答案：流形上两个（接近）分布和之间的平方距离（想想地球上距离很近的两点的测地线距离，它与地球的曲率有关）由二次形式给出：$ds^2$$p(x,\theta)$$p(x,\theta+d \theta)$

$ds^2= \sum F_{ij} d \theta^i d \theta^j$

并且已知是 Kullback Leibler Divergence 的两倍：

$ds^2=2KL(p(x, \theta ),p(x,\theta + d \theta))$

如果您想了解更多信息，我建议阅读 Amari http://projecteuclid.org/DPubS?service=UI&version=1.0&verb=Display&handle=euclid.aos/1176345779的论文 （我认为 Amari 也有一本书关于统计学中的黎曼几何，但我不记得名字了）

分布 p(.) 和 q(.) 之间的 KL(p,q) 散度具有直观的信息论解释，您可能会发现它很有用。

假设我们观察到由某个概率分布 p(.) 生成的数据 x。表示由 p(.) 生成的数据所需的平均码长（以比特为单位）的下限由 p(.) 的熵给出。

现在，由于我们不知道 p(.)，我们选择另一个分布，例如 q(.) 来编码（或描述、说明）数据。由 p(.) 生成并使用 q(.) 编码的数据的平均码长必然比使用真实分布 p(.) 进行编码时更长。KL 散度告诉我们这种替代代码的效率低下。换句话说，p(.) 和 q(.) 之间的 KL 散度是使用编码分布 q(.) 对 p(.) 生成的数据进行编码所需的额外比特的平均数量。如果实际数据生成分布用于对数据进行编码，则 KL 散度是非负的并且等于零。

对于您问题的 (b) 部分，您可能会遇到一个问题，即您的一个分布在另一个分布没有的区域中具有密度。

如果存在和，则这会发散。R 实现中的数值 epsilon 可以“帮助您”解决这个问题；但这意味着结果值取决于此参数（技术上不是必需的，只是小于数值 epsilon）。$i$$p_i>0$$q_i=0$$q_i=0$$q_i$