机器算法验证 - 互信息对可逆变换真的不变吗？ - 吾爱随笔录

互信息对可逆变换真的不变吗？

机器算法验证信息论熵互信息

2022-03-27 19:51:03

“估计互信息” [A Kraskov, H Stögbauer, P Grassberger - Physical Review E, 2004] 指出

在边际变量的重新参数化下，互信息是不变的。如果和是同胚[即。平滑唯一可逆映射]，则 $X ′ = F(X)$ $Y′ =G(Y)$
$I (X, Y) = I (X', Y')$ $I(X,Y ) = I(X′,Y′)$

这篇论文也被用于维基百科来证明同样的说法。

但如果这是真的，那是否意味着如果和我们得到其中是微分熵？ $F=G$ $X=Y$

H (X) = I (X, X) = I (X^{'}, X^{'}) = I (F (X), F (X)) = H (F (X))

$H(X) = I(X,X) = I(X',X') = I(F(X),F(X)) = H(F(X))$

H

$H$

这难道不是“证明”微分熵也是不变的吗？这样的转换（显然不是因为例如对于常数，）？ $a$ $H(aX) = H(X) + \log|a| \neq H(X)$

特别是我想知道是否适用于所有同胚。 $I(X,F(X))=H(X)=H(F(X))$ $F$

有人可以帮助我减少不确定性吗？

PS：我说的是连续案例，即。微分熵和微分互信息

1个回答

如果您完全为连续随机变量定义，则它的正确值是无限的，而不是。的值为的无限信息。例如，如果只是一个均匀随机的实数，它几乎肯定需要无限多的位来描述它（没有像 pi 这样的模式）。 $I(X; X)$ $I(X; X) = H(X)$ $X$ $X$ $X$

OTOH，对于不同的变量和（无论多么相似），的有限信息。如果您充分放大到中的某个点，它会看起来很平坦，因此和在该区域内实际上是独立的。然而，描述该区域的位置需要有限数量的位，并指定该区域中的确切点需要无限数量的位。和的共享信息存在于有限的位数中，因此互信息是有限的。然而，如果 $X$ $Y$ $X$ $Y$ $p(x, y)$ $X$ $Y$ $X$ $Y$ $X=Y$ ，那么无论你放大多少，知道总会告诉你在哪里，给你无限的信息。这就是为什么非常不同的原因。 $X$ $Y$ $I(X; X)$ $I(X, Y)$

如果这不令人信服，您可以尝试一些计算。示例：且的二元高斯的互信息为趋于趋于无穷大。 $(x, y)$ $Var(x) = Var(y) = 1$ $Cov(x, y) = r$ $I(x; y) = -0.5log(1-r^2)$ $r$ $1$

其它你可能感兴趣的问题

上一篇验证：数据拆分为训练数据集和测试数据集下一篇与广义线性模型示例相关的混淆