当您说“绝对损失函数”时，您的意思是您使用的是最小绝对偏差（LAD）而不是更常见的普通最小二乘法（OLS）吗？正如那篇维基百科文章所说，虽然 LAD 对异常值比 OLS 更稳健，但它可能不稳定，甚至有多种解决方案，因此即使只有一个目标函数也更难找到目标函数的最小值，这似乎并不奇怪。

如果您尝试此操作是因为您正在经历某种稳健的回归，我认为有几个比 LAD 更有吸引力的替代方案。

这可能是一般最速下降算法已知缺陷的结果。用一个共轭梯度算法可以提高收敛性。