从我的阅读中,我了解到:
- 相互信息是一个度量,因为它满足三角不等式、非负性、不可分辨性和对称性标准。
- Kullback-Leibler 分歧不是度量,因为它不服从三角不等式
但是,关于 Cross Validated(信息增益、互信息和相关度量)的一个答案 [第二个答案],表明互信息和 Kullback-Leibler 散度是等价的。这怎么能被赋予是一个度量和不是?我只能假设我在这里遗漏了一些东西。
从我的阅读中,我了解到:
但是,关于 Cross Validated(信息增益、互信息和相关度量)的一个答案 [第二个答案],表明互信息和 Kullback-Leibler 散度是等价的。这怎么能被赋予是一个度量和不是?我只能假设我在这里遗漏了一些东西。
相互信息不是衡量标准。一个指标满足 indisceribles 的身份:当且仅当. 互信息并非如此,它的行为方式相反——零互信息意味着两个随机变量是独立的(与你所能得到的完全不同)。而且,如果两个随机变量相同,则它们具有最大的互信息(尽可能远离零)。
你是正确的,KL散度不是一个指标。它不是对称的,也不满足三角不等式。
互信息和KL散度不等价。但是,互信息随机变量之间和由联合分布之间的 KL 散度给出和边际分布的乘积(如果联合分布是什么和是独立的)。
虽然互信息本身不是一个度量,但有基于它的度量。例如,信息的变化:
在哪里和是边际熵和是联合熵。