为什么受限最大似然会产生更好(无偏)的方差估计?

机器算法验证 最大似然 混合模式 无偏估计器 分层贝叶斯 雷姆
2022-02-28 02:37:06

我正在阅读 Doug Bates关于 R 的 lme4 包的理论论文,以更好地理解混合模型的本质,并遇到了一个我想更好地理解的有趣结果,即使用受限最大似然 (REML) 来估计方差.

在关于 REML 标准的第 3.3 节中,他指出在方差估计中使用 REML 与在根据拟合线性模型中的残差估计方差时使用自由度校正密切相关。特别是,“虽然通常不以这种方式导出”,但可以通过优化“REML 标准”(等式(28))估计方差来导出自由度校正。REML 标准本质上只是似然性,但线性拟合参数已通过边缘化消除(而不是将它们设置为等于拟合估计值,这将给出有偏差的样本方差)。

我做了数学计算并验证了一个只有固定效应的简单线性模型的声明结果。我正在努力的是解释。是否有一些观点可以通过优化拟合参数被边缘化的可能性来自然得出方差估计?感觉有点贝叶斯,好像我将可能性视为后验并将拟合参数边缘化,就好像它们是随机变量一样。

还是证明主要只是数学上的——它适用于线性情况,但也可以推广?

2个回答

方差的偏差源于平均值是从数据中估计出来的,因此“该数据在这个估计平均值周围的分布”(即方差)小于数据在“真实”平均值周围的分布. 另请参阅:计算标准偏差时除以n1

固定效应决定了“均值”模型,因此,如果您可以找到一个方差估计,该方差估计是在没有从数据中估计均值的情况下得出的(通过“边缘化固定效应(即均值)”),那么这种低估价差(即方差)将得到缓解。

这是 REML 估计消除偏差的“直观”理解;您可以在不使用“估计均值”的情况下找到方差的估计值。

查看附录:作者 David Dickey提供的此SAS 相关资源中的 REML 估计方法。

"我们总能找到 (n-1) 个数字 Z,其均值为 0,平方和和理论方差与 n 个 Y 值相同。这促使 Z 平方和除以 Z 的数量,即 n -1。

当我在读研究生时,REML 被认为是自切片面包以来最好的东西。通过研究lme4包,我了解到它并不能很好地概括,也许它在宏伟的计划中并不那么重要。