我有一个非常基本的疑问。对不起,如果这激怒了少数人。我知道 Mutual Information 值应该大于 0,但它应该小于 1 吗?它是否受任何上限值的限制?
谢谢,阿米特。
我有一个非常基本的疑问。对不起,如果这激怒了少数人。我知道 Mutual Information 值应该大于 0,但它应该小于 1 吗?它是否受任何上限值的限制?
谢谢,阿米特。
是的,它确实有一个上限,但不是 1。
当两方(统计上)共享一位信息时,互信息(以位为单位)为 1。但是,它们可以共享任意大数据。特别是,如果它们共享 2 位,则为 2。
互信息由上面的单方概率分布的香农熵限制,即.
这取决于感兴趣的字母表是有限的,具有已知的有限基数、有限但未知的基数,还是无限可数字母表。如果说的是互信息(名称有混淆,例如互信息、信息增益、信息增益比等),那么如果 K 已知答案是 YES未知或无限则答案是NO -互信息在可数字母表上是无限的!
上面提供的答案是不正确的,因为是不正确的陈述。这很容易看出,因为和可能是任意大的。话虽如此,但必须提到的是,上述答案的作者可能认为是一个已知整数。