方差的无偏估计量还是最大似然估计量?

机器算法验证 方差 最大似然
2022-03-26 13:53:42

我知道是方差的无偏估计量。1n1i=1n(XXn¯)2

当不知道手头的数据来自哪个分布时,我认为这样的估计器很有用。

现在,鉴于我有一个数据集,并且我确实知道哪些是观察值的基本分布。我不应该更喜欢方差的最大似然估计器,即使它有偏差,因为它显然利用了数据的基本分布而不是上面引用的一般方差估计器,这不适用于任何特定的分布?

谢谢

2个回答

我认为答案通常是肯定的。如果您对发行版了解更多,那么您应该使用该信息。对于某些发行版,这将产生很小的影响,但对于其他发行版而言,这可能是相当大的。

例如,考虑泊松分布。在这种情况下,均值和方差都等于参数的 ML 估计是样本均值。λλ

下面的图表显示了 100 个通过取均值或样本方差来估计方差的模拟。标记为 X1 的直方图是使用样本均值,X2 是使用样本方差。如您所见,两者都是无偏的,但均值是对的更好估计,因此是对方差的更好估计。λ

在此处输入图像描述

上面的 R 代码在这里:

library(ggplot2)
library(reshape2)
testpois = function(){
  X = rpois(100, 4)
  mu = mean(X)
  v = var(X)
  return(c(mu, v))
}

P = data.frame(t(replicate(100, testpois())))
P = melt(P)

ggplot(P, aes(x=value)) + geom_histogram(binwidth=.1, colour="black", fill="white") +
  geom_vline(aes(xintercept=mean(value, na.rm=T)),   # Ignore NA values for mean
             color="red", linetype="dashed", size=1) + facet_grid(variable~.)

至于偏见问题,我不会太担心您的估算器有偏见(在上面的示例中不是,但这只是运气)。如果公正对您很重要,您可以随时使用 Jackknife 来尝试消除偏见。

我已将我的评论移至答案,以便我可以根据要求对其进行扩展。

[如果你的意思是方差形式作为 ML(它是正常),那么这两种形式都使用完全相同的信息——偏离均值的平方和。唯一的区别是比例因子。]1ni=1n(XXn¯)2

如果您需要方差估计是无偏的,您可以使用它(请注意,通常您可以对特定分布的方差采用任何 MLE,看看您是否可以至少近似地无偏;它可能更有效),但它不是(比如说)方差的最小 MSE,如果你取平方根并将其用于标准偏差,它就不是无偏的。

至少方差的 ML 估计仍然是 sd 的 ML(无论您的哪个分布都有方差的 MLE)。

这就是我这么说的原因:

MLE 具有参数变换不变的 MLE(或更简洁地说,)。请参阅此处的简短讨论,以及此处注释 2下的内容。g(θ)g(θ^)g(θ)^=g(θ^)

这些都不能证明这一点,但我会给你一个(有点手摇的)动机/大纲,说明单调变换的简单情况。您可以在许多讨论 ML 的文章中找到一个完整的论点,这些文章不仅仅是一个真正的初级水平。

在单调变换的情况下:举一个简单的例子 - 想象我有一些曲线( vs),中间某处有一个峰值(全局和局部最大值)。现在我将转换为),而不变。曲线的形状会发生变化,但相应的不会。的原始最大值中的对应位置仍然与在下的最大值相同(也就是说,如果最大值在,它现在在yxxξξ=t(x)yyyξxxξ=t(x). 您应该了解如何将该直觉扩展到单调变换和任何全局最大值。[更一般的非单调变换的情况不太明显,但仍然是正确的。编辑:在一对一函数的情况下,与上述类似的论点是正确的。]

回到原来的答案:

在实践中(在的情况下)几乎没有太大的区别,我经常在不同的情况下使用它们,而不必担心。我通常不担心无偏方差估计nn1