聚类:我应该使用 Jensen-Shannon Divergence 还是它的平方?

机器算法验证 机器学习 聚类 距离函数
2022-01-20 02:56:51

我正在使用Affinity Propagation算法对概率分布进行聚类,并且我计划使用 Jensen-Shannon Divergence 作为我的距离度量。

使用 JSD 本身作为距离还是 JSD 平方是否正确?为什么?选择其中一个会导致什么不同?

1个回答

我认为这取决于如何使用它。

仅供其他读者参考,如果是概率测度,则 Jensen-Shannon 散度为 其中是中点测度,是 Kullback-莱布勒分歧。PQ

J(P,Q)=12(D(P∣∣R)+D(Q∣∣R))
R=12(P+Q)D(∣∣)

现在,我很想使用 Jensen-Shannon Divergence 的平方根,因为它是一个度量,即它满足距离度量的所有“直观”属性。

有关这方面的更多详细信息,请参阅

Endres 和 Schindelin,概率分布的新度量IEEE Trans。关于信息。你的。, 卷。49,没有。3,2003 年 7 月,第 1858-1860 页。

当然,从某种意义上说,这取决于您需要它的用途。如果您使用它的只是评估一些成对测量,那么 JSD 的任何单调变换都可以工作。如果您正在寻找最接近“平方距离”的东西,那么 JSD 本身就是类似的数量。

顺便说一句,您可能也对这个先前的问题以及相关的答案和讨论感兴趣。