机器算法验证 - 具有可接受的估计量的模型，不是任何先验选择的贝叶斯估计量？ - 吾爱随笔录

具有可接受的估计量的模型，不是任何先验选择的贝叶斯估计量？

机器算法验证贝叶斯数理统计事先的例子可受理性

2022-04-09 16:04:15

据我所知，每个贝叶斯估计量都是可以接受的。（相关问题 - 1 , 2。）我记得我的教授在一次讲座中提到，至少作为粗略的直觉，反过来也是正确的，也就是说，每个可接受的估计量都是某些先验选择的贝叶斯估计量。他说了一些类似于“有例外”或“需要常规条件”的内容。

问：有没有人知道：

相反，每个可接受的估计量都是一些先验的贝叶斯估计量，需要什么正则性条件才能成立？

和/或是否有统计模型的（好的）反例，其中（合理的）可接受的估计量不是任何先验选择的贝叶斯估计量？

我的猜测是，任何反例都可能与克伦威尔规则有关，特别是因为违反克伦威尔规则的先验众所周知会人为地减少“有效模型大小”。因此，如果我们有一些模型，由于某种原因，所有先验都必须违反克伦威尔规则，那么似乎可以想象会有（合理的）反例。

作为一个家庭作业问题，我们必须在一个非常有限的情况下证明这个相反：对于不违反克伦威尔规则的先验，以及有限的参数空间。我认为对有限参数空间的限制不是必需的，只是为了让我们不必在无限维向量空间中进行凸分析，因为函数分析没有被列为课程的先决条件。话虽如此，并非每个无限维向量空间都是适用凸分析推广的巴拿赫空间，因此可以想象，我们可以/应该仍然期望反例存在，但如果它们确实存在，也期望它们具有无限参数空间。

编辑：基于这个答案，我的另一个猜想是，由于某种原因，所有先验都具有无限贝叶斯风险的模型可能存在反例——也许是柯西模型？

1个回答

关于贝叶斯和可接纳性的一些结果：

如果贝叶斯风险是有限的，则存在一个可接受的贝叶斯估计量，而如果贝叶斯风险是无限的，则没有理由让相关的贝叶斯估计量是可接受的。我想不出所有先验都具有无限贝叶斯风险的情况，因为先验集合包含狄拉克质量
[完整类] 如果一个估计量是可接受的并且参数集是有限的，那么这个估计量是贝叶斯 $\Theta$
[Blyth 定理] 如果是开的，如果风险函数中是连续的，并且如果是贝叶斯估计量的极限，那么那么估计量是可接受的 $\Theta$ $R(\theta,\delta)$ $\theta$ $\delta$ $lim_{n} \frac{R (π_{n}, δ) - min_{ξ} R (π_{n}, ξ)}{π_{n} (Θ)} = 0$ $\lim_n\dfrac{R(\pi_n,\delta)-\min_\xi R(\pi_n,\xi)}{\pi_n(\Theta)}=0$ $\delta$
[Stein 定理] 如果采样密度的支持不依赖于，如果损失函数都是连续的并且在 d 上严格凸并且发散在无穷大时，每个可接受的估计量都是贝叶斯估计量的极限，对应于有限集上的先验 $f(\cdot|\theta)$ $\theta$ $L(\theta,d)$ $\theta$
正态均值问题中均值的最大似然估计量 ,在平方误差损失下是可接受的，而在二次损失下不是贝叶斯但仅广义贝叶斯 $x\sim \mathcal{N}(\theta,1)$ $\delta_0(x)=x$
[Duanmu and Roy, 2016]对于指数族，在合适的条件下，每个可接受的估计量都是广义贝叶斯。
[Farrell, 1968] “在检验统计假设的问题中，存在不能推广贝叶斯程序的可接受检验的例子。虽然我们认为某些估计问题也是如此，但我们没有一个可容许估计量的结论性例子这不是一个广义的贝叶斯估计量。”

（除了 6 之外的所有陈述都可以在我的书中找到，还有Jim Berger和Peter Hoff的。）

进一步挖掘后，我在拉里布朗的统计指数族基础中找到了这两个练习：

其它你可能感兴趣的问题

上一篇Q-learning什么时候停止训练？下一篇MAP 是后验的最大值还是其众数？