机器算法验证 - 事先计算 Jeffreys - 错误在哪里？ - 吾爱随笔录

事先计算 Jeffreys - 错误在哪里？

机器算法验证贝叶斯

2022-04-16 00:27:47

下面你会找到一张我正在尝试做的练习的图片。我的疑问在于c）。

我选择了 Jeffreys Prior 作为 N 的先验。另外，我对进行了建模，得到。 $Y|N \sim \text{Uniform}\{1,...,N\}$ $P(Y=y|N=n)=\frac{1}{n}I_{\{1,...,n\}}(y)$

计算的二阶导数时会出现问题。如果我假设（），将日志应用于非零值，我得到。 $log(p(y|n))$ $y=203<n=N$ $E\left(-\frac{d^2}{dN^2}log(P(y|n))|N\right)=-\frac{1}{N^2}$

我在哪里做错了？

任何帮助，将不胜感激。

1个回答

将 wrt 导出/积分到离散变量可能是有问题的。然而，考虑到衍生相关 Jeffreys 的离散模型的连续类似是 Berger 在https://www2.stat.duke.edu/~berger/papers/discrete.pdf（以及其他）中讨论的一种情况。此外，在本文中，指出您的问题的解决方案是（第 1.2.1 节的第一段）。 $p(N)\propto 1/N$

但是，我发现与您的结果相同。尽管如此（假设 Heaviside 阶跃函数一切顺利），Fisher 信息的替代定义给出了预期的结果：然后积分：得到最后。

(\frac{d l o g (f)}{d N})^{2} = \frac{1}{N^{2}}

$(\frac{d log(f)}{dN})^2=\frac{1}{N^2}$

I (N) = \int_{0}^{\infty} \frac{1}{N^{2}} \frac{1}{N} 1 (y < N) d y

$I(N)=\int_0^{\infty} \frac{1}{N^2} \frac{1}{N} 1(y<N) dy$

I (N) = \frac{1}{N^{2}}

$I(N)=\frac{1}{N^2}$

p (N) \propto \frac{1}{N} 1_{R^{+}} (N)

$p(N) \propto \frac{1}{N} 1_{R^+}(N)$

但我不知道为什么（但由于切换到连续可能有点问题，我不会感到惊讶的是，与 Fisher 信息公式相关的一些条件不满足）

其它你可能感兴趣的问题

上一篇是否可以对多级数据使用 LASSO 回归？下一篇样本均值是否比样本中位数更好地估计总体中位数？