数学机器学习理论“从零开始”教科书?

机器算法验证 机器学习 参考
2022-03-16 00:08:01

我正在寻找教科书(最好是一本),涵盖来自统计学习要素的材料,具有良好的脚手架(ESL 对我来说跳得太多,作为更多的参考)以及详细的推导和算法证明,以及详细的分步示例概述如何从头开始执行这些算法,特别是为了学习我没有计算机的考试。强烈推荐带有可用解决方案的文本。

编辑:你们中的一些人可能对我为什么需要这样的文本感到困惑。例如,您可以在此链接中查看我即将开设的课程的过去练习考试

我有一个月的时间来学习这些材料,而且我没有时间翻阅 10 多本机器学习书籍,我必须尝试剖析他们在说什么。我非常喜欢数学家写的教科书。我看过太多的机器学习书籍只用几页纸谈论一个概念并略读所有计算细节,或者他们只是使用 XYZ 包执行所有内容并假设包中的所有内容都有适当的输出. 我对这种方法非常怀疑,从历史上看,我的怀疑似乎使我免于犯错

我的背景相当于美国大约一半的 MS 统计程序:微积分概率、Casella 和 Berger 级别的统计、(一般 + 广义)矩阵线性模型和实验设计。我不害怕手动矩阵计算,并且可能需要知道如何手动执行这些算法。

所看到的最接近我正在寻找的内容是 Andrew Ng 的 CS 229 笔记(请参阅此处),我可能会使用这些笔记 - 但它们并没有我想要的那么有用,因为我没有家庭作业的解决方案。

我已经阅读了以下教科书,但发现它们不足以满足我的目的:

  • Mohri 等人,机器学习的基础(接近我想要的,但没有可用的解决方案)
  • Clarke 等人,数据挖掘和机器学习的原理和理论(没有可用的解决方案,似乎假设有测量理论背景)
  • 墨菲,机器学习(极其密集)
  • James et al, Introduction to Statistical Learning(对理论的依赖太少,而对假设R代码可以工作的假设太多——我已经发现了错误——例如这里
  • Izenman,Modern Multivariate Statistical Techniques(比 ESL 更好,但略过细节,使用稍微不标准的符号,请参阅我上面的问题之一的链接)。

还有其他我不知道的书对我的目的有用吗?

1个回答

根据@Coffee 的建议,我会推荐Sergios Theodoridis的文本机器学习:贝叶斯和优化视角以及同一作者的模式识别

这两篇文章总共有2000 页,涵盖了从本科生概率到线性模型的所有内容,以及(据我所知)统计学习要素涵盖的所有内容,除了时间序列、概率图形模型、深度学习、和蒙特卡罗方法。

作者努力使所有符号清晰一致(感谢您将所有向量加粗!)并且似乎使用了精心挑选的练习。

在阅读这些文本之前,拥有概率以及卡塞拉和伯杰级别的统计数据将非常有帮助。这里有一些关于 UMVUE 的讨论。