用于优化矩阵演算的资源

机器算法验证 参考 优化 矩阵 矩阵演算
2022-04-09 19:28:14

我是一名研究生，试图从《模式识别和机器学习》一书中吸收知识。但是，我发现我真的需要很好地掌握矩阵微积分才能自己推导出公式（因为我认为这样学习会更有效）。例如，当使用 EM 算法推导高斯混合模型时，我不能真正自己做 M 步，因为我不知道如何对向量/矩阵进行微积分。

我希望解决的是能够解决像xTAx关于x.

我确实阅读了 wikipedia 并了解了对向量求导的基本概念，但我希望能对这些操作有所了解并使自己更加确认。

问题：

1）人们是否记住了基本公式的导数（例如xTAx，或协方差的导数）然后展开？
2) 可以推荐哪些好的资源，尤其是有实践问题的书籍？

非常感谢

2个回答

我认为更好的书是同一位 Jan Magnus（与 H. Neudecker 合着）的Matrix Calculus。它比矩阵代数更深入地研究了理论，矩阵代数本质上是一组练习（非常好的练习，但仍然......证明和讨论数学应用的空间很小。）我听说第一版是印在质量极差的纸张上；真的不知道第二版，因为我有的是我自己帮助翻译的俄语版。

Dwyer (1967) “矩阵导数在多元分析中的一些应用”是一篇值得阅读的好论文。它从统计应用的角度涵盖了矩阵微积分。特别是它包含两个身份表，这使其成为手头的有用参考。

该论文可在此处的付费墙后面获得，或者目前在 bitbucket.org 上有一个可免费访问的版本，尽管我不确定该链接的稳定性。

其它你可能感兴趣的问题
上一篇加权最小二乘校正异方差 下一篇使用 lme4 拟合 HLM 时，如何在随机截距模型中包含 2 级变量？