部分似然、轮廓似然和边际似然之间有什么区别?

机器算法验证 估计 最大似然
2022-01-24 03:16:49

我看到这些术语正在被使用,我一直把它们混在一起。他们之间的区别有简单的解释吗?

2个回答

似然函数通常取决于许多参数。根据应用的不同,我们通常只对这些参数的一个子集感兴趣。例如,在线性回归中,兴趣通常在于斜率系数而不是误差方差。

将我们感兴趣的参数表示为β和不是主要兴趣的参数θ. 处理估计问题的标准方法是最大化似然函数,以便我们获得βθ. 但是,由于主要兴趣在于β部分可能性、轮廓可能性和边际可能性提供了估计的替代方法β没有估计θ.

为了看到差异表示标准似然L(β,θ|data).

最大似然

寻找βθ最大化L(β,θ|data).

部分似然

如果我们可以将似然函数写成:

L(β,θ|data)=L1(β|data)L2(θ|data)

然后我们简单地最大化L1(β|data).

轮廓似然

如果我们能表达θ作为一个函数β然后我们替换θ与相应的功能。

说,θ=g(β). 然后,我们最大化:

L(β,g(β)|data)

边际可能性

我们整合出来θ通过利用我们可以识别概率分布的事实从似然方程θ有条件的β.

在完全指定的似然函数中处理令人讨厌的参数时,会使用所有这三个参数。

边际似然是理论上消除有害参数的主要方法。这是一个真实的似然函数(即它与观察数据的(边际)概率成正比)。

一般而言,部分似然不是真正的似然。然而,在某些情况下,它可以被视为渐近推理的可能性。例如,在 Cox 比例风险模型中,我们对数据中观察到的排名感兴趣(T1 > T2 > ..),而不指定基线风险。Efron 表明,对于各种危险函数,部分可能性几乎没有丢失信息。

当我们有一个多维似然函数和一个感兴趣的参数时,轮廓似然是很方便的。它是通过在每个固定的 T(感兴趣的参数)处用其 MLE 替换讨厌的 S 来指定的,即 L(T) = L(T, S(T))。这在实践中可以很好地工作,尽管以这种方式获得的 MLE 存在潜在偏差;边际似然校正了这种偏差。