机器算法验证 - 最大似然和 Gumbel 分布。可能性是否有全局最大值？ - 吾爱随笔录

最大似然和 Gumbel 分布。可能性是否有全局最大值？

机器算法验证最大似然配件极值

2022-04-13 01:33:28

在我看来，如果我将模式更多地移动到负数并增加比例参数，总是可以获得更高的可能性。如果这是真的，这种可能性是否存在限制？ $u$ $\alpha$

Gumbel 可能性由下式给出

\log (L) = \sum_{i = 1}^{N} \log [\frac{1}{α} \exp (- y_{i} - e^{- y_{i}})]

$\log(L) = \sum_{i=1}^{N}\log \left[\dfrac{1}{\alpha}\exp(-y_i - e^{-y_i}) \right]$

其中 $y_i = \dfrac{x_i-u}{\alpha}$

正如用户Xi'an指出的那样，某处似乎存在（局部）最大值。但是，我更多地询问全局最大值以及是否存在。

2个回答

我将证明一个更一般的结果：如果密度是对数凹的，则相应位置尺度系列的对数似然具有全局最大值。然后是想要的结果，因为 Gumbel 密度是对数凹的。

考虑一个单变量密度，它在实线上是对数凹的并且是平滑的；和尺度的参数化密度为我们可以使用以下替代参数向量，其中我们有一个一对一的平滑变换。使用参数向量处的密度写为 $f^\star(y)$ $\mu$ $\alpha >0$

f (x; μ, α) := \frac{1}{α} f^{⋆} (\frac{x - μ}{α}) .

$f(x;\,\mu,\,\alpha) := \frac{1}{\alpha} \, f^\star\left(\frac{x - \mu}{\alpha}\right).$

[ν, β]

$[\nu,\,\beta]$

β > 0

$\beta >0$

β := 1 / α, ν := - μ / α .

$\beta := 1 / \alpha, \qquad \nu := - \mu / \alpha.$

[μ, α] \mapsto [ν, β]

$[\mu,\,\alpha] \mapsto [\nu,\,\beta]$

[ν, β]

$[\nu,\,\beta]$

x

$x$

β f^{⋆} (β x + ν)

$\beta\,f^\star(\beta x + \nu)$ 样本的对数似然是很明显，这是向量的凹函数，因此存在全局最大值（可能是无限的或）。但这意味着位置尺度参数化也存在全局最大值。

X_{i}

$X_i$

\log L = \sum_{i = 1}^{N} \log {β f^{⋆} (β X_{i} + ν)} .

$\log L = \sum_{i=1}^N \log\{ \beta \, f^\star(\beta X_i + \nu) \}.$

[ν, β]

$[\nu,\,\beta]$

ν

$\nu$

β

$\beta$

[μ, α]

$[\mu,\,\alpha]$

这是标准 Gumbel 中 100 个点的样本中的 (log-) 似然面： $(u,\alpha)$

如您所见，模式位于附近，这是参数的真实值。该图由以下 R 代码制作 $(0,1)$

library(VGAM)
obs=rgumbel(1e3)
loca=seq(min(obs),max(obs),le=1e2)
scala=seq(.1*sd(obs),10*sd(obs),le=1e2)
like=matrix(0,1e2,1e2)
for (i in 1:1e2)
  for (j in 1:1e2)
   like[i,j]=sum(dgumbel(x=obs,loc=loca[i],scal=scala[j],log=TRUE))

其它你可能感兴趣的问题

上一篇Spearman 等级相关系数下一篇带有分类变量的 GAM - 解释