计算 MLE 的方差

机器算法验证 自习 方差 最大似然
2022-03-29 04:16:49

假设我们从密度为 theta注意如果的最大似然估计量,假设是样本大小,则证明n(X1,X2,...Xn)

fθ(x)={θxθ1 if 0x10otherwise.
θ>0Tnθn
var(Tn)n0

这是我要解决的问题:我计算了但我一直在寻找并将

Tn=ni=1nln(Xi)
var(Tn)var(Tn)0n

3个回答

结合@Xi'an 的评论和@wolfies 的回答,我们有

1/Tn=1ni=1n(lnXi)

但是(其中尺度参数),它本质上是一个形状参数为的 Gamma 分布,因此通过 Gamma 的求和属性分配,lnXiExp(1/θ)1/θ1

i=1n(lnXi)Gamma(n,1/θ)

使用 Gamma 分布的缩放特性,我们获得

1/TnGamma(n,1/(nθ))

然后的倒数(即)遵循逆 Gamma分布,具有相同的形状参数和倒数尺度参数1/TnTn

TnInvGamma(n,nθ)

有差异的

Var(Tn)=n2θ2(n1)2(n2)

正如Mathematica软件给出的那样。

分子的前导项是,而分母的前导项是n2n3所以方差的极限Tn关于n归零。

您是否尝试计算 Fisher 信息?获得对数似然的二阶导数,乘以 -1,然后取倒数。在 MLE 进行评估。渐近地,这近似于 MLE 的方差。

问题

(X1,,Xn)表示大小的随机样本n画在

XPowerFunction(θ,1) with pdff(x)=θxθ1 where 0<x<1.
Z=i=1nln(Xi).寻找:Var[nZ]

解决方案

Y=ln(X). 然后,通过任何常用的转换方法,YExponential(θ)带PDFθeθy. 接下来,总和n具有速率的 iid 指数θ众所周知Gamma(n,1/θ)所以ZGamma(n,1/θ)用pdf,比如说,g(z)

在此处输入图像描述

我们寻找Var(nZ)

在此处输入图像描述

我正在使用MathStatica包中的Var函数来自动计算Mathematica 。

后者的极限趋于0,因为n, 按要求。