使用信息几何来定义距离和体积……有用吗?

机器算法验证 模型选择 信息几何
2022-03-28 07:12:09

我遇到了大量文献,它们提倡使用 Fisher 的信息度量作为概率分布空间中的自然局部度量,然后对其进行积分以定义距离和体积。

但是这些“综合”量真的对任何事情有用吗?我没有发现任何理论依据和很少的实际应用。一个是盖伊黎巴嫩的作品,他使用“Fisher 距离”对文档进行分类,另一个是 Rodriguez的模型选择 ABC……其中“Fisher 体积”用于模型选择。显然,使用“信息量”比 AIC 和 BIC 模型选择提供了“数量级”的改进,但我还没有看到任何后续工作。

一个理论上的理由可能是有一个泛化界限,它使用这种距离或体积的度量,并且比从 MDL 或渐近论点派生的界限更好,或者一种依赖于这些数量之一的方法,在某些合理的实际情况下证明更好,是否存在有这样的结果吗?

3个回答

上周在皇家统计学会有一篇关于黎曼流形上的 MCMC 技术的阅读论文,主要使用 Fisher 信息度量: http ://www.rss.org.uk/main.asp?page=1836#Oct_13_2010_Meeting

结果似乎很有希望,尽管正如作者指出的那样,在许多感兴趣的模型(例如混合模型)中,Fisher 信息没有分析形式。

最广为人知的论点是,对坐标变换不变的 Fisher 度量可用于制定不知情的先验(Jeffreys 先验)。不确定我买它!

鲜为人知的是,有时这些“积分”会变成分歧,因此有人可能会争辩说,费希尔距离会产生一组广义的分歧(及其属性)。

但是,我还没有找到对渔民信息及其产生的数量的直观描述。如果你找到了,请告诉我。

“没有跟进”的原因是很少有人了解罗德里格斯多年前的工作。这是重要的东西,我相信我们将来会看到更多。

然而,有些人会争辩说,Fisher 度量只是真实度量的二阶近似(例如Neumann 的关于建立熵先验的论文),它实际上由 Kullback-Liebler 距离(或其推广)定义,并导致 Zellner 的公式为MDI 先验。