互信息增益值能否大于1

机器算法验证 信息论 互信息
2022-02-07 09:19:58

我有一个非常基本的疑问。对不起,如果这激怒了少数人。我知道 Mutual Information 值应该大于 0,但它应该小于 1 吗?它是否受任何上限值的限制?

谢谢,阿米特。

2个回答

是的,它确实有一个上限,但不是 1。

两方(统计上)共享一位信息时,互信息(以位为单位)为 1。但是,它们可以共享任意大数据。特别是,如果它们共享 2 位,则为 2。

互信息由上面的单方概率分布的香农熵限制,即I(X,Y)min[H(X),H(Y)].

这取决于感兴趣的字母表是有限的,具有已知的有限基数、有限但未知的基数,还是无限可数字母表。如果说的是互信息(名称有混淆,例如互信息、信息增益、信息增益比等),那么如果 K 已知答案是 YES未知或无限则答案是NO -互信息在可数字母表上是无限的!KKKK

上面提供的答案是不正确的,因为是不正确的陈述。这很容易看出,因为可能是任意大的。话虽如此,但必须提到的是,上述答案的作者可能认为是一个已知整数。I(X,Y)min(H(X),H(Y))H(X)H(Y)K