机器算法验证 - 层次模型中的 Fisher 信息 - 吾爱随笔录

机器算法验证多层次分析费希尔信息

2022-01-22 04:17:12

给定以下层次模型，

X \sim N (μ, 1),

$X \sim {\mathcal N}(\mu,1),$ 和，

μ \sim L a p l a c e (0, c)

$\mu \sim {\rm Laplace}(0, c)$ 在哪里

N (\cdot, \cdot)

$\mathcal{N}(\cdot,\cdot)$ 是正态分布。有没有办法获得边缘分布的 Fisher 信息的精确表达式

X

$X$ 给定

c

$c$ . 也就是说，什么是Fisher信息：

p (x | c) = \int p (x | μ) p (μ | c) d μ

$p(x | c) = \int p(x|\mu) p(\mu|c) d\mu$ 我可以得到边际分布的表达式

X

$X$ 给定

c

$c$ , 但要区分 wrt

c

$c$ 然后接受期望似乎非常困难。我错过了一些明显的东西吗？任何帮助，将不胜感激。

2个回答

对于您给出的层次模型，Fisher 信息没有封闭式分析表达式。在实践中，Fisher 信息只能针对指数族分布进行分析计算。对于指数族，对数似然在充分统计中是线性的，并且充分统计具有已知期望。对于其他分布，对数似然不会以这种方式简化。拉普拉斯分布和层次模型都不是指数族分布，因此不可能有解析解。

Normal 和 Laplace 中的两个都来自指数族。如果你可以将分布写成指数形式，那么 Fisher 信息矩阵就是指数族的对数归一化器的第二个梯度。

其它你可能感兴趣的问题