互信息和 Kullback-Leibler 散度是否等价?

机器算法验证 kullback-leibler 互信息
2022-03-12 10:17:22

从我的阅读中,我了解到:

  1. 相互信息(MI)是一个度量,因为它满足三角不等式、非负性、不可分辨性和对称性标准。
  2. Kullback-Leibler 分歧(DKL)不是度量,因为它不服从三角不等式

但是,关于 Cross Validated(信息增益、互信息和相关度量)的一个答案 [第二个答案],表明互信息和 Kullback-Leibler 散度是等价的。这怎么能被赋予MI是一个度量和DKL不是?我只能假设我在这里遗漏了一些东西。

1个回答

相互信息不是衡量标准。一个指标d满足 indisceribles 的身份:d(x,y)=0当且仅当x=y. 互信息并非如此,它的行为方式相反——零互信息意味着两个随机变量是独立的(与你所能得到的完全不同)。而且,如果两个随机变量相同,则它们具有最大的互信息(尽可能远离零)。

你是正确的,KL散度不是一个指标。它不是对称的,也不满足三角不等式。

互信息和KL散度不等价。但是,互信息I(X,Y)随机变量之间XY由联合分布之间的 KL 散度给出pXY和边际分布的乘积pXpY(如果联合分布是什么XY是独立的)。

I(X,Y)=DKL(pXYpXpY)

虽然互信息本身不是一个度量,但有基于它的度量。例如,信息的变化

VI(X,Y)=H(X,Y)I(X,Y)=H(X)+H(Y)2I(X,Y)

在哪里H(X)H(Y)是边际熵和H(X,Y)是联合熵。