我试图理解逐点互信息的规范化形式。
为什么对数联合概率将逐点互信息归一化在 [-1, 1] 之间?
逐点互信息为:
p(x,y) 以 [0, 1] 为界,因此 log(p(x,y)) 以 (,0] 为界。似乎 log(p(x,y)) 应该以某种方式平衡分子,但我不明白到底是怎么回事。它也让我想起了熵,但我还是不明白确切的关系。
我试图理解逐点互信息的规范化形式。
为什么对数联合概率将逐点互信息归一化在 [-1, 1] 之间?
逐点互信息为:
p(x,y) 以 [0, 1] 为界,因此 log(p(x,y)) 以 (,0] 为界。似乎 log(p(x,y)) 应该以某种方式平衡分子,但我不明白到底是怎么回事。它也让我想起了熵,但我还是不明白确切的关系。
来自关于逐点互信息的维基百科条目:
逐点互信息可以在 [-1,+1] 之间进行归一化,导致 -1(在极限内)表示从不一起出现,0 表示独立,+1 表示完全共现。
为什么会这样?那么,逐点互信息的定义是
而对于归一化的逐点互信息是:
当有:
虽然 Piotr Migdal 的回答在给出 nmpi 达到三个极值的示例方面提供了丰富的信息,但它并不能证明它在区间内. 这是不等式及其推导。
两边除以非负,我们有