我有微积分的工作知识，并且能够理解Newton-Raphson技术在无约束优化中的应用。请指出一些易于理解的高级技术教程，如 BFGS 和 LBFGS。我更喜欢视频讲座而不是书籍和书籍而不是论文。
我的目标是了解这些方法是如何工作的，并对其中一些方法进行编码（python/scala/Theano）以便更好地理解。我感兴趣的领域是这些技术的应用而不是证明。
[这最初是张贴在我被建议在这个网站上张贴的地方]
无约束优化学习和编程资源
计算科学
优化
2021-12-11 00:53:31
2个回答
Boyd 和 Vandenberghe 关于凸优化的文本是免费的，讲座已在线发布。它也不是令人难以置信的理论重。
Nocedal 和 Wright 非常擅长讨论优化的实际方面，尤其是算法的实现。它也不是理论重。
对于关心理论的人来说，Bertsekas 关于非线性规划的书是一本很好的读物。Nocedal 的书更适合讨论算法的实际方面，但您当然可以使用 Bertsekas 的书来实现经典的优化算法。要深入了解算法的工作原理，了解收敛证明是有帮助的；但是，它需要了解真实的分析。我认为在实践中使用这些算法不需要深入了解。
我不知道是否有视频讲座，但我发现 Nocedal 和 Wright 关于“数值优化”的书是与持续优化相关的所有内容的绝佳参考。它易于阅读和理解。