机器算法验证 - 完整性背后的直觉 - 吾爱随笔录

完整性背后的直觉

机器算法验证数理统计直觉完全统计

2022-01-19 08:48:00

完整性的定义是，如果一个统计量是完整的，那么对于每个可测量的，我们都有它， $s(x)$ $g$

E_{θ} (g (s (x))) = 0, \forall θ \Rightarrow g (s) = 0 a.s.

$E_\theta(g(s(x))) = 0\,, \ \forall\,\theta\ \Rightarrow\ g(s) = 0 \text{ a.s.}$

我听说我们可以将完整性视为说，如果我们想使用完整来估计零函数，那么在统计量的所有零无偏函数类中，唯一的一个是取值的函数0 几乎可以肯定。这似乎是一个奇怪的概念——我们为什么要估计零函数？ $s(x)$

我还听说，在估计概率模型的参数时，只需要足够的统计量即可。我听说有任何超过足够的统计数据不能提供额外的信息。这与上述完整性的定义有何联系（Basu 的，也许？）？ $P_\theta$

对于上述（看似）奇怪的情况，是否有更好的直觉？

2个回答

根据Rao-Blackwell 定理，如果是的无偏估计量，并且是充分统计量，则 $\delta(x)$ $h(\theta)$ $S$

E [δ (X) | S (X) = s] = δ^{*} (s)

$\mathbb{E}[\delta(X)|S(X)=s] = \delta^*(s)$

是一个“更好”的估计量，因为它具有较小的方差，同时仍然无偏。在这种有限的意义上，仅使用足够的统计数据是有意义的。（但是，其余数据有助于估计此估计器的精度，因此不能丢弃。）

如phaneron所指出的，当额外完成时，只能有一个基于的无偏估计量。根据Lehmann-Scheffé 定理，这是最好的无偏估计量。 $S$ $S$

为了完整性

回想一下，如果那么是的无偏估计。 $E(f(x)) = u$ $f(x)$ $u$

现在如果 $g(x) = f(x) + h(x)$ $E(h(x)) = 0$

所以它确保是唯一的无偏估计。（其余的和许多细节我都忘记了。） $f(x)$

为了足够

了解充分性的最简单方法是通过相对置信比，即后验概率除以通过 ABC 或两阶段模拟计算的先验概率（这是 k * 似然度）。在以足够的统计量为条件后，进一步的条件不会改变后验分布。如果两个不同的统计量是足够的，则对任何一个进行调节都会给出相同的后验分布，而最小的充分统计量将给出相同后验分布的最佳近似值。但是，如果这是针对一门课程的，那么这可能只会分散注意力，因为您可能需要根据对似然函数进行索引的统计数据来回答。

其它你可能感兴趣的问题

上一篇如何在多个估算数据集中完成的测试中获得合并的 p 值？下一篇当包含分类变量之间的交互时，解释混合模型的回归输出