在最近的一次讲座中,有人告诉我,为了使最大似然估计有效,当参数到达参数空间的边界时,对数似然需要达到负无穷大。但我不明白为什么这是必不可少的。假设对数似然走向某种渐近线。那么最大化似然的参数仍然是最大似然估计,对吧?
为什么当参数接近参数空间的边界时,对数似然需要去负无穷大?
机器算法验证
最大似然
2022-03-17 12:35:57
1个回答
为了使最大似然估计有效,当参数到达边界时,对数似然需要变为负无穷大
这等于说,一个参数的似然度需要在参数空间的边界处变为0,才能使结果有效。
首先,您可以将参数空间限制为所有具有正似然性并且仍然获得有效估计的值。
其次,即使你使用,说,你不会接近边界,因为任何现成的优化包都会执行某种随机初始化,然后使用梯度下降、共轭梯度等方法接近最小值。无论哪种情况,您几乎都不会接近参数空间的边界,所以我不太明白为什么边界首先很重要。
即使您是故意这样做的,有时您也会达到操作系统的浮点精度。我可以向你保证,那时你还没有真正接近边界很多。:)
就我个人而言,我发现在计算非常小的可能性的总和和乘积时出现下溢问题,而log sum exp 技巧更有趣和更值得注意的问题在实践中实际上很重要,这与达到参数空间的边界不同。
其它你可能感兴趣的问题