你是对的，一般来说，IWLS 和其他数值优化方法一样，只能保证收敛到局部最大值，即使它们收敛。 这是一个很好的例子，其中起始值在 R 中 glm() 使用的算法的收敛域之外。然而，值得注意的是，对于具有规范链接的 GLM，可能性是凹的，请参见此处。因此，如果算法收敛，它将收敛到全局模式！

幻灯片中指出的最后一个问题是参数的 MLE 为无穷大的问题。这可能发生在存在完全分离的逻辑回归中。在这种情况下，您将收到一条警告消息，指出拟合概率在数值上为 0 或 1。重要的是要注意，当这种情况发生时，算法尚未收敛到模式，因此这与算法无关陷入局部最大值。

当您尝试估计参数时，您总是希望有一个封闭形式的解决方案。但是，并不总是存在一个（我想在某些情况下可能存在一个，但目前尚不清楚）。当不存在封闭形式的解决方案时，必须采用一些启发式策略来搜索参数空间以找到要使用的最佳参数估计。有许多这样的搜索策略（例如，在R? optim中列出了 6 种通用方法）。IRWLS 是Newton-Raphson 算法的简化版本。

不幸的是，您的 [ 1 ] 的答案是没有任何启发式搜索策略可以保证找到全局最小值（最大值）。出现这种情况的原因有以下三个：

1. 如链接演示文稿的幻灯片 9 所述，可能不存在唯一的解决方案。这方面的例子可能是完美的多重共线性，或者当要估计的参数多于数据时。
2. 如幻灯片 10 所述（我认为该演示文稿非常好），解决方案可能是无限的。这可能发生在逻辑回归中，例如，当你有完美的分离时。

3. 也可能存在有限的全局最小值（最大值），但算法找不到它。这些算法（尤其是 IRWLS 和 NR）倾向于从指定的位置开始并“环顾四周”以查看在某个方向上移动是否构成“下坡”（即，提高拟合度）。如果是这样，那么它将在该方向的某个距离处重新拟合并重复，直到猜测/预测的改进小于某个阈值。因此，可能有两种方法无法达到全局最小值：

   1. 从当前位置到全局最小值（最大值）的下降率太浅而无法跨越阈值，算法在没有解决方案的情况下停止。
   2. 在当前位置和全局最小值（最大值）之间存在一个局部最小值（最大值），因此在算法看来，进一步的移动会导致更差的拟合。

关于您的 [ 2 ]，请注意不同的搜索策略有不同的趋向于陷入局部最小值。有时甚至可以调整相同的策略，或从不同的起点开始解决后两个问题。