面向数学家的机器学习简介

机器算法验证 机器学习 参考 pac学习
2022-02-02 09:19:28

从某种意义上说,这是我从math.stackexchange 发表的一篇文章,我觉得这个网站可能会提供广泛的受众。

我正在寻找机器学习的数学介绍。特别是可以找到的很多文献相对不精确,很多页面都没有任何内容。

但是,从这些文献开始,我发现了Andrew Ng 的Coursera课程,Bishop 关于模式识别的书,最后是 Smola 的书。不幸的是,斯莫拉的书只是草稿状态。在 Smola 的书中甚至可以找到证据,这对我很有吸引力。毕晓普的书已经相当不错了,但缺少了一定的严谨性。

简而言之:我正在寻找一本像 Smola 的书,即尽可能精确和严谨,并使用数学背景(虽然简短的介绍当然可以)。

有什么建议吗?

4个回答

我会推荐Elements of Statistical Learning(免费 PDF 文件)。它有足够的数学知识和对所有相关技术的良好介绍 - 以及对这些技术为何有效(以及何时无效)的一些见解。

介绍了统计学习(更实用 - 如何在R中进行)。它有一个运行统计学习的课程;您可能会在 YouTube 上找到讲座(以及免费的 PDF)。

对于您所描述的内容,我强烈推荐 Mohri 等人的“机器学习基础”。这是一本本科生教材,但它是为真正优秀的本科生准备的。它是可读的,它是我找到我称之为机器学习的数学定义(pac 和弱 pac)的唯一地方。仅出于这个原因就值得一读。我也有数学博士学位。我熟悉并喜欢上面提到的许多书籍。我特别喜欢 ESL,因为它涵盖了广泛的技术和想法,但它是一本包含大量数学内容的统计书籍。

您可能会喜欢Schölkopf 和 Smola 的《Learning With Kernels 》。Schölkopf 的大部分工作在数学上都是严谨的。

也就是说,您最好阅读研究论文而不是教科书。研究论文包含完整的推导和收敛证明、性能界限等,这些通常不包含在教科书中。一个很好的起点是机器学习杂志,它受到高度评价并且完全开放访问。我还推荐ICMLNIPSCOLTIJCNN等会议的论文集。

我建议了解机器学习: Shai Shalev-Shwartz 的从理论到算法。我承认我只阅读了其中的一小部分,但我立即注意到作者处理每个问题和讨论的严谨性。