机器算法验证 - 贝叶斯后验（Bernstein-von Mises）的渐近正态性何时失效？ - 吾爱随笔录

给出的后验密度函数（像往常一样），先验密度和分布 )观测值，以参数值为条件。

π (θ) \prod_{i = 1}^{n} f (x_{i}; θ),

$\pi(\theta) \prod_{i=1}^n f(x_i;\theta),$

π

$\pi$

f (\cdot; θ)

$f(\cdot;\theta)$

n

$n$

x_{1}, \dots, x_{n}

$x_1, \dots, x_n$

θ

$\theta$

在某些条件下，后验分布是渐近正态的（这个结果被称为 Bernstein-von Mises 定理，请参阅 egvd Vaart，Asymptotic Statistics，第 10.2 节，以获得严格的论证，或 Young & Smith，Essentials of Statistical Inference，第 9.12 节，用于非正式讨论。）

有没有（希望是基本的）贝叶斯后验不是渐近正态的例子？特别是有例子

$\pi$ 和关于是连续可微的？ $f$ $\theta$
$\pi(\theta) > 0$ 对于所有？ $\theta$

我在文献中提到的一个例子是，其中是具有位置参数的独立 Cauchy 随机变量。在这种情况下，具有正概率的似然函数存在多个局部最大值（参见 Young & Smith，示例 8.3）。也许这可能会在 B-vM 定理中出现问题，尽管我不确定。 $X_1, \dots, X_n$ $\theta$

更新： BvM 的充分条件是（如 vd Vaart，第 10.2 节所述）：

数据是从具有固定参数 $\theta_0$
实验在处“二次均值可微”，具有非奇异 Fisher 信息矩阵 $\theta_0$ $I(\theta_0)$
周围的区域中是绝对连续的 $\theta_0$
该模型是连续且可识别的
存在将与对于一些 $H_0 : \theta = \theta_0$ $H_1 : \|\theta -\theta_0\| \geq \varepsilon$ $\varepsilon > 0$