对数似然比的期望

机器算法验证 期望值 似然比 渐近的 不可缺少的
2022-04-05 12:41:24

鉴于是具有联合分布 和一维参数的独立同分布随机变量,设是 \theta 的最大似然估计.X1,...,Xnf(xθ)θθ^θ

基于 Wilks 定理,在的零假设下,有H0:θ=θ0

2log(f(xθ0)/f(xθ^))χ12  as  n.

既然我们知道,无论如何我可以找到以下积分的值(对数似然比的期望)或至少是渐近的Eχ12=1

2f(xθ0)log(f(xθ0)f(xθ^))dx=?

我的猜测是积分应该在1左右。有人可以分享一些关于上述积分的想法或参考吗?

2个回答

所讨论的积分实际上是F(,θ0)F(,θ^)之间的 Kullback-Leibler 散度。您通常不能说它收敛到任何东西(特别是考虑到您的参数假设可能是错误的事实)。然而,对于某些分布族,它有很好的估计。

你可能想看看Vladimir Spokoiny 的出版物,他花了很多时间来解决这类问题。例如,您可能会认为这篇关于指数族分布(2005) 的文章很有用。

一般来说,你不能说对数似然比的有限样本期望为 1,即使它在概率上渐近收敛到 1。“大约 1”是一个合理的猜测,但可以任意使有限样本偏差具有任意数量的人为分布的大。

零假设下对数似然比的实际分布非常复杂,除非考虑卷积下保守的分布,如正态或 gamma(theta, 1) RVs。