是否有任何概率距离可以保留度量的所有属性?

机器算法验证 分布 距离 公制
2022-03-02 01:46:08

在研究 Kullback-Leibler 距离时,我们很快学到了两件事,即它既不尊重三角不等式也不尊重对称性,这是度量所必需的属性。

我的问题是是否有任何概率密度函数度量满足度量的所有约束

4个回答

看看这篇论文,它涵盖了关于概率度量空间的各种流行指标我个人最喜欢的是总变化距离和 Wasserstein 距离(地球移动器距离)。L2

我相信Earth Mover's Distance,也称为Wasserstein 度量,是满足您要求的示例。

对 KL 散度进行了一些修改,使其获得了一些度量属性(尽管不是全部)。

例如,Jeffrey 散度修改了 KL 散度以使其对称。

有一些特殊情况参见 [1]:“不幸的是,基于 Kullback-Leibler (KL) 散度和 Bhattacharyya 距离的传统度量不能满足许多​​算法所需的所有度量公理。在本文中,我们提出了对 KL 的修改散度和 Bhattacharyya 距离,对于多元高斯密度,将这两个度量转换为距离度量。”

[1] K. Abou-Moustafa 和 F. Ferrie,“A Note on Metric Properties for Some Divergence measure: The Gaussian Case”,JMLR:研讨会和会议论文集 25:1-15,2012。

我认为这个问题的答案是可能的。因为,最近在 2017 年,R. Farhadian 表明,在启发式整数子集上,它有可能是一个度量。对于他的工作,请参阅以下链接:http: //journals.univ-danubius.ro/index.php/oeconomica/article/view/4010