估计方程和矩估计方法有什么区别?

机器算法验证 数理统计 估计 最大似然 广义估计方程 矩量法
2022-03-18 04:47:16

据我了解,两者都是基于首先提供无偏统计量并获得方程根的估计器:T(X)

c(X)(T(X)E(T(X)))=0

其次,两者在某种意义上都是“非参数的”,因为无论的实际概率模型是什么,如果您将视为数据的有意义的总结,那么您将始终如一地估计“事物“无论该事物是否与数据的实际概率模型有任何概率联系。(例如,根据 Weibull 分布的失效时间估计样本均值,无需审查)。XT()

然而,矩量法似乎暗示感兴趣必须是一个容易假设的概率模型的矩,然而,人们用一个估计方程而不是最大似然来估计它(即使他们可能同意,就像正态分布随机变量均值的情况)。对我来说,称某事为“时刻”具有暗示概率模型的含义。但是,假设我们有对数正态分布数据,是基于第三个样本矩的第三个中心矩的矩估计方法,例如T(X)

μ3^=1ni=1n(XiX¯)3

或者是否估计第一和第二时刻,将它们转换为估计概率模型参数,(我将用帽子表示法表示它们的估计),然后将这些估计用作对数正态数据的派生偏度的插件, IEμσ

μ3^=(exp(σ^2)+2)exp(σ^21)

2个回答

矩量法最常见的理由就是大数定律,这似乎使您建议通过(我倾向于称在任何情况下都是 MoM)。μ3μ^3

但是,许多书籍和文档,例如this(以及在某种程度上关于矩方法的维基百科页面)暗示您采用最低的矩*并从中估计给定概率模型所需的数量,如您通过从前两个时刻估计kμ3

*(这里需要估计参数才能得到需要的数量)k

--

归根结底,我想归根结底是“谁定义了什么是时刻的方法?”

我们期待皮尔逊吗?我们是否关注最常见的约定?我们接受任何方便的定义吗?--- 这些选择中的任何一个都有问题和好处。


对我来说,有趣的一点是,是否可以总是或几乎总是重新参数化参数族以将 EE 中的估计问题表征为(可能是奇怪的)分布函数的矩的解决方案?

很明显,存在大量分布类别,其中矩量法是无用的。

举一个明显的例子,柯西分布的平均值是未定义的。

即使矩存在并且是有限的,在很多情况下方程组有 0 个解(想想一些永远不会穿过x 轴)或多个解决方案(一个反复穿过轴的解决方案 - 尽管如果您有办法在它们之间进行选择,多个解决方案不一定是一个不可克服的问题)。f(θ,y)=0

当然,我们也经常看到存在解决方案但不在参数空间中的情况(甚至可能存在参数空间中从来没有解决方案但我不知道的情况——它会是一个有趣的问题,以发现是否存在某些此类情况)。

我想可能还有更复杂的情况,尽管我目前没有任何想法。

估计方程是一种更通用的方法,它没有指定从哪里得到估计方程。最大似然也是估计方程的一个例子,因为它导致了分数方程。各种形式的准(或伪)似然是其他例子!就像时刻的方法一样。