作为概率的互信息

机器算法验证 信息论 互信息
2022-01-19 12:52:00

联合熵上的互信息:

0I(X,Y)H(X,Y)1

被定义为:“一条信息从 X 传送到 Y 的概率”?

我很抱歉这么幼稚,但我从未学习过信息论,我只是想了解其中的一些概念。

3个回答

您所描述的衡量标准称为信息质量比[IQR](Wijaya、Sarno 和 Zulaika,2017 年)。IQR 是互信息 除以“总不确定性”(联合熵)(图像来源:Wijaya、Sarno 和 Zulaika,2017)。I(X,Y)H(X,Y)

在此处输入图像描述

正如 Wijaya、Sarno 和 Zulaika (2017) 所述,

IQR 的范围是如果 DWT 可以完美地重构信号而不会丢失信息,则可以达到最大值(IQR=1)。否则,最小值(IQR=0)意味着MWT与原始信号不兼容。换言之,具有特定MWT的重构信号不能保留基本信息,并且与原始信号特征完全不同。[0,1]

您可以将其解释为信号将被完美重建而不会丢失信息的概率请注意,这种解释更接近于对概率的主观解释,然后是传统的频率主义解释。

这是一个二元事件的概率(重建信息与不重建信息),其中 IQR=1 表示我们认为重建的信息是可信的,而 IQR=0 表示相反。它共享二进制事件概率的所有属性。此外,与概率共享许多其他属性(例如条件熵的定义、独立性等)。所以它看起来像一个概率并且嘎嘎喜欢它。


Wijaya, DR, Sarno, R. 和 Zulaika, E. (2017)。信息质量比作为母小波选择的新度量。化学计量学和智能实验室系统,160, 59-71。

是概率空间的定义。让我们使用那里的符号。IQR 是元组的函数(前三个分量构成了定义两个随机变量的概率空间)。概率度量必须是满足蒂姆答案中列出的定义的所有条件的集合函数。必须将的某个子集此外,的集合必须形成的子集字段,并且(Ω,F,P,X,Y)Θ:=(Ω,F,P,X,Y)Ω~ΘΩ~IQR(Ω,F,P,X,Y)必须满足 Tim 的答案中列出的概率度量定义中列出的所有三个属性。在构建这样一个对象之前,说 IQR 是一种概率度量是错误的。我看不到如此复杂的概率度量的效用(不是 IQR 函数本身,而是作为概率度量)。在蒂姆的回答中引用的论文中的 IQR 不是称为概率,而是用作度量(前者是后者的一种,但后者不是前者的一种。)。

另一方面,有一个简单的构造允许上的任何数字成为概率。特别是在我们的例子中,考虑任何给定的选择一个二元素集作为样本空间,设字段为并设置概率测度我们有一类由索引的概率空间。[0,1]ΘΩ~:={a,b}F~:=2Ω~P~(a):=IQR(Θ)Θ

回顾历史,作为概率度量的作用可以部分地在 Rajski 1961 年的文章中看到:A Metric Space的离散概率分布本文概述了 Rajski 距离的发展是:I(X,Y)H(X,Y)(DR)

DR=1I(X,Y)H(X,Y)