机器算法验证 - Wasserstein 距离与 KL 散度之间的关系（相对熵） - 吾爱随笔录

Wasserstein 距离与 KL 散度之间的关系（相对熵）

机器算法验证分布距离熵 kullback-leibler 瓦瑟斯坦

2022-03-28 21:37:35

考虑一阶的 Wasserstein 度量 $W_1$ （又名地球移动距离）。我想知道是否可以链接 $W_1$ 和 Kullback-Leibler 散度（又名相对熵）以及这在直觉上意味着什么。我再也找不到它了，但如果我没记错的话，以下内容适用于某些常数 $C$

W_{1} (μ, ν) \leq \sqrt{C \cdot KL (ν | | μ)},

$W_1(\mu, \nu)\le \sqrt{C\cdot \text{KL}(\nu ||\mu)},$

在哪里 $\text{KL}$ 是 KL 散度。我的第一个问题是：上述不等式是真的吗？其次，应该如何解释这一估计？

2个回答

这篇文章给出了一系列距离的不等式，包括总变化

\frac{1}{2} d_{T V} (ν, μ) < \sqrt{K L (ν, μ)}

$\frac{1}{2}d_{TV}(\nu,\mu)<\sqrt{KL(\nu,\mu)}$ 这表示Wasserstein 距离受总变化距离的限制

2 W_{1} (ν, μ) \leq C d_{T V} (ν, μ)

$2W_1(\nu,\mu)\leq Cd_{TV}(\nu,\mu)$ 如果度量是有界的

C

$C$ .

在另一个方向上没有简单的界限，因为您可以通过将概率从任意小点移动到相邻区域来使 KL 散度无限，这可以通过任意小来完成 $W_1$ 距离。例如，取两个标准法线。对于其中之一，将密度设置为零 $[0,\epsilon]$ 并且是现有值的两倍 $[-\epsilon,0]$ . 对另一个做相反的事情。Wasserstein 距离与 $\epsilon$ ，但 KL 散度是无限的。

正如在上一篇文章中指出的那样，这种不平等一般来说是不正确的。然而，已经有很多关于这些措施的研究 $\mu$ 对于所有措施都是如此 $\nu$ . 最突出的是，这适用于标准正态分布。
这些估计属于“塔拉格兰不等式”。看看 Otto 和 Villani 的论文并在其中引用：http ://cedricvillani.org/sites/dev/files/old_images//2012/08/014.OV-Talagrand.pdf

其它你可能感兴趣的问题

上一篇什么是分解高斯分布？下一篇冲积图与桑基图