我遇到了大量文献,它们提倡使用 Fisher 的信息度量作为概率分布空间中的自然局部度量,然后对其进行积分以定义距离和体积。
但是这些“综合”量真的对任何事情有用吗?我没有发现任何理论依据和很少的实际应用。一个是盖伊黎巴嫩的作品,他使用“Fisher 距离”对文档进行分类,另一个是 Rodriguez的模型选择 ABC……其中“Fisher 体积”用于模型选择。显然,使用“信息量”比 AIC 和 BIC 模型选择提供了“数量级”的改进,但我还没有看到任何后续工作。
一个理论上的理由可能是有一个泛化界限,它使用这种距离或体积的度量,并且比从 MDL 或渐近论点派生的界限更好,或者一种依赖于这些数量之一的方法,在某些合理的实际情况下证明更好,是否存在有这样的结果吗?