Bhattacharya 系数和 Bhattacharya 距离的直觉?

机器算法验证 数理统计 距离 直觉 距离函数 巴塔查亚
2022-03-18 06:50:33

Bhattacharyya 距离定义为DB(p,q)=ln(BC(p,q)), 在哪里BC(p,q)=xXp(x)q(x)对于离散变量,对于连续随机变量也是如此。我试图获得一些直觉,了解这个指标告诉你关于 2 个概率分布的内容,以及何时它可能是比 KL 散度或 Wasserstein 距离更好的选择。(注意:我知道 KL-divergence 不是距离)。

2个回答

Bhattacharyya 系数为

BC(h,g)=h(x)g(x)dx
在连续情况下。有一篇很好的维基百科文章https://en.wikipedia.org/wiki/Bhattacharyya_distance如何理解这一点(以及相关的距离)?让我们从多元正态案例开始,它具有指导意义,可以在上面的链接中找到。当两个多元正态分布具有相同的协方差矩阵时,Bhattacharyya 距离与马氏距离一致,而在两个不同协方差矩阵的情况下,它确实有第二项,因此推广了马氏距离。这可能是声称在某些情况下 Bhattacharyya 距离比 Mahalanobis 更好的说法的基础。Bhattacharyya 距离也与 Hellinger 距离密切相关https://en.wikipedia.org/wiki/Hellinger_distance

使用上面的公式,我们可以找到一些随机解释。

BC(h,g)=h(x)g(x)dx=h(x)g(x)h(x)dx=Ehg(X)h(X)
所以它是似然比统计量的平方根的期望值,在分布下计算h(的零分布X)。这可以与Kullback-Leibler (KL) Divergence 上的 Intuition进行比较,后者将 Kullback-Leibler 散度解释为对对数似然比统计量的期望(但在替代项下计算)g)。这种观点在某些应用中可能很有趣。

还有另一种观点,与一般的 f-分歧族相比,定义为,参见Rényi entropy

Df(h,g)=h(x)f(g(x)h(x))dx
如果我们选择f(t)=4(1+t2t)由此产生的 f 散度是 Hellinger 散度,我们可以从中计算 Bhattacharyya 系数。这也可以看作是从 Renyi 熵获得的 Renyi 散度的示例,请参见上面的链接。

Bhattacharya 距离也使用以下等式定义 在此处输入图像描述

在哪里 μii指的是均值和协方差ith簇。