MLE的测度理论定义

机器算法验证 最大似然 测度论
2022-03-26 20:08:45

这个问题实际上归结为以下几点:在什么条件下我们可以引用概率密度函数的逐点值?显然 pdf 的连续性就足够了,但是由于函数的测度理论定义,我不知道如何考虑这个美好领域之外的最大值。

考虑最大似然估计。我们有一个独立同分布观察的样本,来自具有未知概率密度函数的分布f0(·). 我们知道f0属于某个分布族参数MLE 定义为似然函数 f(θ),θΘ

L(θ;x1,,xn)=i=1nf(θ,xi).

但在这个定义中,MLE 取决于分布族的逐点值。当然,这些可以在一组测量零上重新定义。因此,我们可以在观察点上重新定义族(如果我们的概率空间不可数)并彻底改变 MLE 估计。这个族定义的随机变量几乎肯定是相等的,因此它们的概率属性都没有改变。f(,θ)

那么我们真的只能在离散或连续情况下定义 MLE 吗?我在想自己。有人可以为我澄清这一点吗?如果您有参考资料,我也非常感谢。

2个回答

似然函数的定义是一个近似值。通常,您有观测值,它们会受到测量误差的影响。因此,在实践中,您观察,其中是测量误差。因此,如果您有一个 iid 观测样本,则参数概率模型的似然函数写为: nxjxj±ϵϵ>0nP(;θ)

L(θ;x1,,xn)=j=1nP[(xjϵ,xj+ϵ);θ].

然后,最大似然估计量是使感兴趣样本下的概率最大化的参数值。

假设是与概率相关的分布,那么,你得到F(;θ)P(;θ)

L(θ;x1,,xn)=j=1n{F[xj+ϵ;θ]F[xjϵ;θ]}.
如果足够小,根据均值定理,你有ϵ

F[xj+ϵ;θ]F[xjϵ;θ]2ϵf(xj),

因此,您获得了似然函数的连续逼近

L(θ;x1,,xn)j=1nf(xj;θ).

这种关系解释如下:

概率和统计推断 II:002(Universitext)平装本 – 1980 年 1 月 7 日,JG Kalbfleisch

你需要Radon-Nikodym 定理。.

在测度理论问题中,您正在估计在样本集上的 sigma 代数上定义的分布,而不是在样本集本身上。现在假设您有一个参数模型如果这个模型是由一个有限测度支配的,那么(通过 Radon–Nikodym)我们可以安全地移动到相关的密度函数族,满足F0F(θ)σμf(θ)F(Aθ)=Af(yθ)dμ(y)

显然,如果您的测量值位于模型中每个分布的空集中,则您的模型或您的观察结果是错误的(因为在所有考虑的分布中,您的观察概率为零)。另一方面,如果有一个分布,您的测量值不位于任何空集中,那么它也不能位于的空集中,因此您不能自由地在观察时重新定义密度.μ

但是请注意,保证 MLE 的存在或唯一性。