条件熵 告诉我们在观察通道输出 后,关于通道输入 的平均不确定性有多少,互信息 衡量有关通道的信息量输入 可以得到观察通道输出 。
这是否意味着 和 相互补充或告诉我们同样的事情?如果是这样,那么既然互信息是对称的,那么条件熵不应该也是对称的吗?
条件熵 告诉我们在观察通道输出 后,关于通道输入 的平均不确定性有多少,互信息 衡量有关通道的信息量输入 可以得到观察通道输出 。
这是否意味着 和 相互补充或告诉我们同样的事情?如果是这样,那么既然互信息是对称的,那么条件熵不应该也是对称的吗?
不,因为互信息告诉你一个随机变量 可以从另一个随机变量 中消除多少不确定性,给定 的 的条件熵告诉你在使用信息后 X 中还有多少不确定性(由 给出) 给了它。
这就是为什么条件熵取决于观察之前的熵值而互信息不取决于,因为它只是观察之前和之后两个熵状态之间的差异()。
从这里有一个很酷的维恩图。这清楚地表明与和的顺序无关。