寻找数值优化的书籍推荐

机器算法验证 优化 参考
2022-04-12 18:38:46

我正在阅读这个问题的答案和评论: 为什么牛顿方法在机器学习中没有广泛使用?

并意识到我想了解更多关于数值优化的知识。我特别感兴趣地注意到一些非常不同的答案。

我看到推荐了以下书:

Nocedal, J. 和 Wright, S. (nd)。数值优化(第二版)。施普林格出版社。2006. https://www.springer.com/us/book/9780387303031

但是,我的大学图书馆只有 1 份,需求量很大。

我正在寻找其他类似水平的书籍,这对于统计和机器学习中的应用程序特别有用(不仅是深度学习,还包括深度学习)

[我拥有物理学学士学位,目前正在攻读数据科学博士课程]

3个回答

另外两本类似于 Nocedal & Wright 的书是

但由于您正在寻找适用于数据科学和机器学习的优化方法,请记住,该领域模型的庞大规模通常需要这些书中讨论的算法的随机版本(通常是随机梯度下降的某个版本)。这个领域仍在不断变化,新算法似乎每隔一个月就会开发一次,所以目前没有任何全面的教科书(至少据我所知)。我能想到的最接近的是Ruder 的这篇评论文章

除了 Nocedal & Wright (2006),作为类似水平的书籍,我发现:

这两本书对于 N&W 来说同样容易理解,并且很好地涵盖了标准数值优化主题(KKT 理论牛顿法准牛顿法等)。凯利的书也可以免费下载。

很高兴你分享了你的书。非常感谢!我真的很喜欢你已经提到的数值优化(运筹学和金融工程中的施普林格系列),但我仍然会推荐数值食谱第 3 版:科学计算的艺术来学习。我还推荐阅读其他教育资源,例如,您可以在 eduzaurus 上找到许多关于“数值”键的短文。我想你会在那里找到很多有用的信息。