为什么人们使用“证据权重”一词,它与“逐点互信息”有何不同?

机器算法验证 可能性 贝叶斯 互信息
2022-03-15 02:57:01

在这里,“证据权重”(WOE)是已发表的科学和决策文献中的一个常用术语,最常见于风险评估的背景下,其定义如下:

w(e:h)=logp(e|h)p(e|h¯)

其中是证据,是假设。eh

现在,我想知道与 PMI(逐点互信息)的主要区别是什么

pmi(e,h)=logp(e,h)p(e)p(h)

1个回答

尽管它们看起来相似,但它们是完全不同的东西。让我们从主要区别开始。

  • h在 PMI 和 WOE 中有所不同
    请注意 PMI 中的术语这意味着是一个随机变量,您可以计算其概率。对于贝叶斯,这没问题,但是如果您不相信假设可以先验概率,您甚至不能为假设和证据编写 PMI。在 WOE 中,是分布的参数,并且始终定义表达式。p(h)hh

  • PMI 是对称的,WOE 不是
    平凡的,然而,而不需要定义即使是这样,它通常也不等于pmi(e,h)=pmi(h,e)w(h:e)=logp(h|e)/p(h|e¯)e¯w(e:h)

除此之外,WOE 和 PMI 有相似之处。

证据的权重表明证据在多大程度上支持假设。如果为0,则表示既不赞成也不反对。它越高,它就越能验证假设,它越低,它就越能验证hh¯

互信息量化了一个事件()的发生如何说明另一个事件的发生。如果为 0,则事件是独立的,其中一个事件的发生与另一个无关。越高,它们共同发生的频率越高,越低,它们就越相互排斥。eh

假设也是一个随机变量并且两个选项都有效的情况呢?例如,在二进制噪声信道上的通信中,假设是的发射信号,证据是接收信号。假设翻转的概率为,因此如果您收到的 WOE 为\另一方面,PMI 取决于发出的概率。您可以验证当发出的概率趋于 0 时,PMI 趋于,而当发出 a 的概率hh1/100011log0.999/0.001=6.90116.9001趋于1

这种自相矛盾的行为说明了两件事:

  1. 它们都不适合猜测排放量。如果发出的概率低于 ,那么即使收到,最有可能的发射也是然而,对于发出的小概率, WOE 和 PMI 都接近11/10000116.90

  2. PMI 是对假设实现的(香农)信息的增益,如果假设几乎是肯定的,则不会获得任何信息。WOE 是我们先前赔率的更新,它不依赖于这些赔率的值。