距离相关与互信息

机器算法验证 相关性 互信息 距离协方差
2022-01-27 05:44:05

我已经使用互信息有一段时间了。但是我在“相关世界”中发现了一个最近的度量,它也可以用来衡量分布独立性,即所谓的“距离相关”(也称为布朗相关):http ://en.wikipedia.org/wiki/Brownian_covariance . 我检查了介绍这种措施的论文,但没有发现任何关于互信息的暗示。

所以,我的问题是:

  • 他们解决完全相同的问题吗?如果不是,问题有何不同?
  • 如果前面的问题可以得到肯定的回答,那么使用其中一个有什么好处?
1个回答

信息/互信息不依赖于可能的值,它只依赖于概率,因此它不太敏感。距离相关性更强大,计算更简单。比较见

http://www-stat.stanford.edu/~tibs/reshef/comment.pdf