机器算法验证 - 非指数族分布的充分统计量 - 吾爱随笔录

非指数族分布的充分统计量

机器算法验证可能性推理指数族充分统计完全统计

2022-03-16 01:15:22

问题：设是来自的独立同分布样本。我想证明这个模型不是指数族的成员，并为 $X_1,X_2,\ldots,X_n$ $N(\theta , 4 \theta^2 )$ $\theta$

尝试：

\begin{aligned} f (\underline{x}; θ) & = \prod_{i = 1}^{n} \frac{1}{\sqrt{8 π θ^{2}}} \exp (\frac{- 1}{8 θ^{2}} \sum_{i = 1}^{n} (x_{i} - θ)^{2}) \\ = \exp (\ln (8 π θ^{2})^{- n / 2} - \frac{1}{8 θ^{2}} \sum_{i = 1}^{n} x_{i}^{2} + \frac{1}{4 θ} \sum_{i = 1}^{n} x_{i} - \frac{n}{8}) \end{aligned}

$\begin{align*} f(~\underline{x}~;\theta) &= \prod_{i=1}^n \frac{1}{\sqrt{8 \pi \theta^2}} \exp\left(\frac{-1}{8 \theta^2} \sum_{i=1}^n (x_i - \theta)^2\right)\\ &=\exp \left(\ln(8\pi \theta^2)^{-n/2}- \frac{1}{8 \theta^2}\sum_{i=1}^n x_i^2 + \frac{1}{4 \theta} \sum_{i=1}^n x_i - \frac{n}{8}\right) \end{align*}$

很明显，这不是指数族的成员，因为它是二维指数族的表示，但我们只有一个参数。

但是，我正在努力寻找足够的统计数据，如果我正在估计一个参数，我可以得到一个二维统计数据吗？

更新

所以在做了一个类似的问题之后，我相当确定一个足够的统计数据是由以下公式给出的： . 所以我想我的问题归结为我们如何有一个二维统计来估计一个参数，这似乎违反直觉？ $S=(S_1,S_2) =(\sum_{i=1}^n x_i^2,\sum_{i=1}^n x_i)$

另外，我了解到这是弯曲指数族的成员，是指数族的进一步推广。

2个回答

首先，这是一个指数族 （如上述 Brown, 1986 的摘录所示），因为密度写为针对特定的支配性度量。这两个系数和与函数关系相连不是问题：它们也都确定性地依赖于。是一维的，族是二维的，这一事实是弯曲指数族的一个例子（见以下摘自Brown，1986

\exp {Φ_{1} (θ) S_{1} (x) + Φ_{2} (θ) S_{2} (x) - Ψ (θ)}

$\exp\{\Phi_1(\theta) S_1({\mathbf x})+\Phi_2(\theta) S_2({\mathbf x})-\Psi(\theta)\}$

Φ_{1} (θ)

$\Phi_1(\theta)$

Φ_{2} (θ)

$\Phi_2(\theta)$

θ

$\theta$

θ

$\theta$ ）。这个族可以扩展到（完整的）真正的二维参数空间，其中是一个特例。或者像在扩展（完整）参数空间中的曲线。但是弯曲的指数族是指数族的特例，而不是一般化。

N (θ, 4 θ ²)

${\cal N}(\theta, 4\theta²)$

Ψ_{1} = Ψ_{2}^{2} / 2

$\Psi_1=\Psi_2^2/2$

是多少，都存在足够的二维统计量。根据 Darmois-Pitman-Koopman 引理，这只能出现在指数族中。 $n$

出于与以前相同的原因，可以存在第二维的充分统计量和第一维的参数，这并不矛盾，因为第二维的相同充分统计量用于具有两个参数的扩展（完整）指数族。文献中发生这种情况的例子（或悖论）比比皆是。参见例如Romano 和 Siegel (1987)。正如 Kjetil B Halvorsen 所指出的，这些“悖论”通常与缺乏完整性有关。

不同的作者对“足够的统计量”和“指数族”有不同的定义。我希望理论统计学家能够就一套定义达成一致，以避免混淆世界。

大多数作者不需要足够的统计维度来匹配参数的维度。示例：https ://en.wikipedia.org/wiki/Sufficient_statistic和 Lehmann 和 Casella 的“点估计理论”。

一些作者这样做。示例：伟大的费舍尔先生本人，以及 Dhrymes 的“计量经济学：统计基础和应用”。

在指数族的“更常见”定义下，OP 的示例是曲线指数，其中“自然”参数的数量超过“原始”参数的数量。当时，称为满秩。应该注意维矩形中永远不会发生， $s$ $k$ $s = k$ $s < k$ $k$ $R^k$

其它你可能感兴趣的问题

上一篇是否假设混合效应模型中的组效应是从正态分布中挑选出来的？下一篇测试简单的递归神经网络的好方法是什么