我正在尝试实现 Nesterov 的第一种方法来解决凸分段线性优化问题，来自这个网站：
https://blogs.princeton.edu/imabandit/2013/04/01/acceleratedgradientdescent/
但是，这样的不存在凸分段线性函数。所以我想知道我应该投入什么对于我的实现。
PS：LP不可行，因为有这样的超平面。
Nesterov 的第一种分段线性凸优化问题方法中的 beta
计算科学
凸优化
2021-12-18 18:39:13
1个回答
分段线性函数是不可微的（除了在微不足道的情况下），所以你注意到这个方法不能应用 - 梯度不存在，更不用说它的 Lipschitz 常数 beta。
如果您想使用 Nesterov 加速算法的变体，您有两种选择：
您用平滑近似替换您的函数并应用加速梯度下降；这在 Nesterov 的论文Smooth minimization of non-smooth functions中有所描述，Mathematical Programming May 2005, Volume 103, Issue 1, pp 127-152或
您将他的加速次梯度方案用于非光滑凸函数；这在他的论文Primal-dual subgradient methods for convex questions 中进行了描述，数学规划 2009 年 8 月，第 120 卷，第 1 期，第 221-259 页。