我正在使用 Newton-Raphson 方法获取参数的 MLE，以最大化我的目标函数。
在每次迭代中，我想检查 Hessian 矩阵是否为负定，并且我看到 Hessian 矩阵在某些迭代中不是负定的。所以，我想用Fisher评分算法（https://en.wikipedia.org/wiki/Scoring_algorithm#Sketch of derivation）
这种情况下，Fisher信息矩阵是不定的！！可能吗？造成这种情况的原因是什么？二阶导数错了吗？还是期望值不正确？
Fisher信息矩阵是否可能是不确定的？
机器算法验证
最大似然
费希尔信息
2022-04-02 13:56:10
1个回答
从https://en.wikipedia.org/wiki/Observed_information观察到的 Fisher 信息矩阵只是对数似然函数的负 Hessian。如果您的对数似然函数不是凸的，则粗麻布不会是正定的（因此是不确定的）。
如果您使用来自https://en.wikipedia.org/wiki/Scoring_algorithm的“观察到的 Fisher 信息矩阵”，就会出现这种情况。如果您使用的是 Fisher 信息矩阵 ( https://en.wikipedia.org/wiki/Fisher_information#Matrix_form ) 的规范概念，那么它必须是半正定的。