Mehryar Mohri、Afshin Rostamizadeh 和 Ameet Talwalkar 合着的《机器学习基础》是 2012 年关于机器学习理论的书籍。

理解机器学习：从理论到算法，由 Shai Shalev-Shwartz 和 Shai Ben-David 合着，是 2014 年出版的一本类似的书，它相当有名，并且比 Mohri/Rostamizadeh/Talwalkar 更具介绍性，但仍然有很多理论它。它可以在线免费获得。

《神经网络学习：理论基础》，Martin Anthony 和 Peter Bartlett 于 1999 年出版的一本关于 ML 理论的书，被表述为关于神经网络，但是（在我没有读过它的印象中）主要是关于 ML 理论的。

这三本书大多采取统计学习理论的主导观点。还有一个有趣的观点叫做计算学习理论，更多地受到计算机科学理论的启发。我认为该领域的标准入门书籍是计算学习理论导论，这是 Michael Kearns 和 Umesh Vazirani 于 1994 年出版的一本书。

另一本优秀且经常被推荐的免费书籍是 Trevor Hastie、Robert Tibshirani 和 Jerome Friedman 的 2009 年第二版《统计学习要素》。它的理论性可能比其他人少一些，从统计学家的角度来看比机器学习者的观点更多，但仍然有很多兴趣。

此外，如果您特别关心梯度下降，标准参考是Stephen Boyd 和 Lieven Vandenberghe 的凸优化。这本 2004 年的书可在线免费获得。

这些书都没有包含太多关于深度网络的现代理论的内容，如果你关心的话。（例如，大多数优化理论都是关于凸情况的，而深度网络显然不是。）那是因为这个理论非常新；大部分结果都是在最近几年才出现的，而且还有很多事情要弄清楚。但是，作为迄今为止对该领域的基本理解的概述，它们中的任何一个都会让你很好地理解完成这项工作的论文（也许除了 Kearns/Vazirani，它专注于分析的不同方面，我m 不确定是否已成功应用于深度网络——但）。

Machine Learning: a Probabilistic Perspective by Kevin P. Murphy 从贝叶斯的角度解释了很多理论（我只将它用于逻辑回归，但我认为它非常好）。整本书可通过 Google 搜索以 PDF 格式在线获取。

• 深度学习（自适应计算和机器学习系列）。这是由Ian Goodfellow、Yoshua Bengio、Aaron Courville撰写的。根据作者与麻省理工学院出版社的协议，您可以在本网站的浏览器上阅读合法免费的副本。www.deeplearningbook.org这对纯数学和神经网络理论及其不同分支很有帮助。

除此之外，

• The Elements of Statistical Learning: Data Mining, Inference, and Prediction也是一本为传统机器学习奠定理论和数学基础的好书。本文由Trevor Hastie、Robert Tibshirani 和 Jerome Friedman撰写，作者可在https://web.stanford.edu/~hastie/ElemStatLearn/免费获取

神经网络设计（Martin T. Hagan、Howard B. Demuth、Mark Hudson Beale、Orlando De Jesús）对神经网络中的优化进行了一些很好的讨论。