Fisher 评分是否总是优于牛顿优化?

机器算法验证 机器学习 数理统计 最大似然 优化 费希尔信息
2022-03-30 15:36:08

我的理解是,Fisher 评分与 Newton raphson 优化相比有几个优势,例如

  1. 计算效率:如果满足某些条件(例如:在MLE估计期间,如果链接函数是规范的+ obs的数量足够大,则计算预期的Hessian而不计算二阶导数,而是可以由jacobian自己估计)
  2. 更好的收敛性(因为 Fisher 信息矩阵总是正定的。Fisher 评分受异常值的影响也较小)
  3. 受所选起点影响较小

这是否意味着,Fisher 得分总是优于 Newton Raphson 优化?是否存在 Fisher 失败/Newton Raphson 执行得更快/收敛更好的情况?

参考: 混合模型:理论与应用,第 2 章,第 2.11 节

0个回答
没有发现任何回复~