机器算法验证 - 使用理由χ2(一)χ2(1)在沃尔德和分数测试 - 吾爱随笔录

使用理由χ2(一)χ2(1)在沃尔德和分数测试

机器算法验证假设检验数理统计渐近的

2022-04-13 02:12:52

在最近的一次考试中，我们被要求证明在执行 Wald 或 Rao 分数测试这只有 1 分（大约需要 2.5 分钟的时间）。我的回答是 $\chi^2(1)$

Wald 和 score 测试统计基于对数似然比的各种近似值，当为真时，这些近似值在大样本中有效且等效。例如，第二个 Wald 统计量的近似值是 $H_0$

$2 \log (L R) ≃ ({\hat{θ}}_{n} - θ_{0})^{2} E {- ℓ^{″} (θ)} |_{θ_{0}} = ({\hat{θ}}_{n} - θ_{0})^{2} I (θ_{0})$ $2\log(LR)\simeq (\hat{\theta}_n-\theta_0)^2E\{-\ell''(\theta)\}|_{\theta_0} =(\hat{\theta}_n-\theta_0)^2I(\theta_0)$

其中 $I(\theta_0)$ theta_0处的 Fisher 信息。然后，使用渐近正态性， $\theta_0$

${\hat{θ}}_{n} \approx N (θ_{0}, \frac{1}{n i (θ_{0})}) = N (θ_{0}, \frac{1}{I (θ_{0})})$ $\hat{\theta}_n\approx N \left ( \theta_0,\frac{1}{ni(\theta_0)}\right )=N \left ( \theta_0,\frac{1}{I(\theta_0)}\right )$

产生 $(\hat{\theta}_n-\theta_0)\sqrt{I(\theta_0)} \approx N(0,1)$

由于 $2\log(LR)$ 较大时约等于 this 的 LHS 的平方，所以它近似分布为标准正态随机变量的平方，即为 $n$ $\chi^2(1)$

标记写了“不足”，我为此得了零。由于这是一次总结性考试，他们不会提供任何反馈，也不会参与任何讨论。我想知道这里是否有人可以解释我错过了什么或哪里出错了。我对乳胶不是很好，所以我希望我在打字时没有犯任何错误！

这是本科数学学位最后一年的统计理论选修课。谢谢！

编辑：有一个正式的程序来评论我的剧本，但为了 1 分，而且我通过得很舒服，我真的不想摇摆不定。

3个回答

一种想法是，您应该提到估计的渐近正态性的正则性条件和似然比检验统计量的性能。这些条件包括，非正式地说， $\chi^2$

真正的参数在参数空间的内部；
真正提供泰勒级数展开的对数似然；
独立同住数据；
交换一些导数和积分/期望的条件（某种统一的有界性）；

等等。有关违反这些条件的情况，请参阅http://www.stat.unc.edu/postscript/rs/ISI89.pdf和http://www.jstor.org/stable/2346086 。（最简单的例子是当支持度取决于参数值时的估计，例如。MLE不是渐近正态的，并且估计量更大可以构建 MSE 方面的渐近效率。）如果您认真研究统计理论，这些论文值得一读，而且许多关于渐近的课程并没有真正深入到这头大象的 ML 优雅墓地。 $U[0,\theta]$ $\hat\theta_n=x_{(n)}$

另一个想法是，他们可能真的希望您同时提及 Wald 和分数测试。Buse (1982)对这三个测试之间的关系进行了精彩的回顾。

很难知道老师脑子里在想什么；-)

我想到的唯一的事情是：

结果的来源表明 MLE 是渐近正态分布的（以及在这种情况下检查假设是否满足）。
对的依赖性在您的符号中不清楚（例如写以强调估计量是一致的。 $I$ $n$ $\frac{1}{I_n(\theta_0)}$

您理所当然地认为如果分布为则分布为。显然，这是最后一步所必需的。此外，您没有提到结果，而是变量的平方和是卡方自由度，在您的情况下是。是接受您显然知道这一点还是正式认为证明不完整，这是一个判断要求。他们给予部分信任吗？我认为你表明你知道如何得到困难的部分（ $X$ $N(m,s^2)$ $(X-m)/s$ $N(0,1)$ $k$ $N(0,1)$ $n$ $n=1$ $\theta$ 具有正确的均值和方差）。这可能看起来很挑剔，但这个问题可能是为了证明你知道这些事实而设计的。

其它你可能感兴趣的问题

上一篇比较逻辑回归中的系数下一篇用 Dirichlet 过程简单介绍 MCMC？