在“信息理论元素”（1991）的第 331 页上，作者说，虽然熵与典型集合的体积有关，但费舍尔信息与典型集合的表面积有关，但我找不到更多关于这个...任何人都可以解释这种联系吗？
Fisher信息和“典型集的表面积”
机器算法验证
信息论
2022-04-03 08:25:02
1个回答
更新
艰难的人群。:) 有关将 Fisher 矩阵的迹线连接到表面积的简明说明，请参阅下面论文中的第 4 节（“等周不等式”）。关键部分是建立微分熵和Fisher矩阵的迹之间的关系，作者在附录中证明了这一点。
基本直觉是通过球体表面积的等周不等式来最大化体积。我们可以得出关于 Fisher 信息矩阵的迹和高斯熵的类似关系。以下内容可能会有所帮助。
其它你可能感兴趣的问题