Fisher 信息以两种等效方式定义:作为预期曲率的负值。由于前者始终为正,这意味着对数似然函数的曲率处处为负。这对我来说似乎是合理的,因为我看到的每个分布都有一个负曲率的对数似然函数,但我不明白为什么一定会这样。
对数似然*总是*具有负曲率是否是这种情况?为什么?
机器算法验证
最大似然
可能性
费希尔信息
2022-03-07 09:46:18
2个回答
您的结论不成立:如果对数似然曲率的期望值为负,则不一定处处为负。平均而言,它只需要消极多于积极。考虑一个双峰分布:在模式之间确实有一个区域具有正弯曲的对数似然,所以你的说法不可能是真的。
请注意与直觉的最大似然估计的链接:在 MLE 的附近,您可能期望曲率是负的,因为您处于最大值(尽管不一定,例如最大值出现在边界上) . 如果曲率在最有可能的区域中为负,那么直观上平均值应该趋于负。实际上,正如您所指出的,在允许您使用“斜率方差”定义的等价性的规则条件下,它必须始终如此。
对于某些类别的似然函数,可以证明似然是对数凹的,即对数似然在任何地方都有二阶导数,这使生活变得更加容易(例如,您通常可以证明存在唯一的全局最大值,使用专门的优化方法...)例如,
- 这个 CV 问题表明具有规范链接函数的指数族似然是对数凹的
- 这篇论文“Concavity of the Log Likelihood”Pratt 1981,JASA证明了具有序数响应的一类模型的对数凹度。
当然也有反例(可证明非对数凹的可能性)。例如,任何双峰或多峰的对数似然都是非对数凹的......例如
- “关于惩罚样条混合模型的对数似然函数中的双峰性的说明”,Welham 和 Thompson 2009 CS&DA
- “曲线指数族中的平面和多模式似然和模型缺乏拟合”,Sundberg 2010 Scand J Stat
- “空间高斯过程协方差函数的似然估计问题”,Warnes 和 Ripley 1987 Biometrika
其它你可能感兴趣的问题