矩阵微积分的教科书?

机器算法验证 参考 矩阵 矩阵演算
2022-02-15 00:00:02

请参阅Math SE 上的这个问题

短篇小说:我读了 The Elements of Statistical Learning,当我试图验证一些结果时感到沮丧,例如,给定 然后 I我正在寻找一本像传统微积分书一样编写的矩阵微积分书(即定理证明、示例、计算练习等)。我已经看到了这个问题

RSS(β)=(yXβ)T(yXβ),
RSSβ=2XT(yXβ)2RSSβ βT=2XTX.
并且觉得 Magnus 和 Neudecker 的文章太注重理论,而我的Gentle的文章太少注重理论而太注重计算。

有没有本科分析背景的人可以使用的快乐媒介?

4个回答

对于大多数矩阵问题,我总是首先参考“The Matrix Cookbook”(参见此处)。

由于来自各种来源的反馈,它会定期更新。里面有证据,但它主要用作手册。

如果你在 Magnus 和 Neudecker 的书中发现了太多理论,我推荐这本书,也是 Magnus 的作者:

Abadir,KM 和 Magnus,JR 矩阵代数剑桥大学出版社,2005 年

更强调矩阵微积分的应用。

一位用户自行删除了以下有用的答案,我在此将其完整复制,以免其信息丢失:

对于 ML,您实际上并不需要很多关于向量和矩阵导数的结果,Tom Minka 的论文涵盖了大部分结果,但最终的处理方法是 Magnus & Neudecker 的Matrix Differential Calculus with Applications in Statistics and Econometrics

确实,Magnus & Neudecker 在 Amazon 上有很好的评论,Tom Minka 的论文(Old and New Matrix Algebra Useful for Statistics , 2000)包含许多有用的公式,尽管他警告说“这是高级材料”。

我强烈推荐斯坦福大学的这篇 26 页论文:

Zico Kolter 的线性代数回顾和参考”

它真正专注于具有大量 i 和 j 的典型 Sum 计算,并告诉您相应的矩阵计算(即使用它们的“矢量化”实现)。

它可以帮助您立即识别应该编写哪种类型的矩阵公式来进行计算。