为什么互信息是对称的,而条件熵却不是?

信息处理 信息论
2022-01-02 20:43:12

条件熵H(X|Y) 告诉我们在观察通道输出 Y 后,关于通道输入 X 的平均不确定性有多少,互信息I(X,Y) 衡量有关通道的信息量输入 X 可以得到观察通道输出 Y

这是否意味着 H(X|Y)I(X,Y) 相互补充或告诉我们同样的事情?如果是这样,那么既然互信息是对称的I(X,Y)=I(Y,X),那么条件熵不应该也是对称的吗?

2个回答

不,因为互信息告诉你一个随机变量 X 可以从另一个随机变量 Y 中消除多少不确定性给定 YX 的条件熵告诉你在使用信息后 X 中还有多少不确定性(由 I(X;Y) 给出)Y 给了它。

H(X|Y)=H(X)I(X;Y)

这就是为什么条件熵取决于观察之前的熵值而互信息不取决于,因为它只是观察之前和之后两个熵状态之间的差异(δ)。

从这里有一个很酷的维恩图。这清楚地表明I(X:Y)XY的顺序无关

在此处输入图像描述