我正在寻找针对统计学家的数值优化技术的可靠参考（或参考），也就是说，它将这些方法应用于一些标准推理问题（例如常见模型中的 MAP/MLE）。诸如梯度下降（直线和随机）、EM 及其衍生/泛化、模拟退火等之类的东西。
我希望它会有一些关于实施的实用说明（通常缺乏论文）。它不必完全明确，但至少应该提供一个可靠的参考书目。
一些粗略的搜索出现了一些文本：Ken Lange 的《统计学家的数值分析》和 John Monahan 的《统计学的数值方法》。对每一个的评论似乎参差不齐（而且稀疏）。在这两者中，仔细阅读目录表明朗格的书的第二版最接近我所追求的。
James Gentle 的计算统计（2009 年）。
James Gentle 的矩阵代数：统计学中的理论、计算和应用（2007 年），在本书的结尾更是如此，开头也很棒，但它并不是您想要的。
Christopher M. Bishop 的模式识别 (2006)。
Hastie 等人的统计学习要素：数据挖掘、推理和预测（2009 年）。
您是否正在寻找像文本一样低级的东西来回答以下问题：“为什么将矩阵和高维数组存储为一维数组更有效，以及如何在通常的 M 中对它们进行索引？ (0, 1, 3, ...) 方式？” 或类似“有哪些常用技术可用于优化梯度下降、EM 等标准算法？”？
大多数关于机器学习的文本都会对您正在寻找的主题进行深入讨论。
Nocedal 和 Wrights 书
http://users.eecs.northwestern.edu/~nocedal/book/
一般而言，它是一个很好的优化参考，他们书中的许多内容都是统计学家感兴趣的。还有一整章是关于非线性最小二乘的。
优化，由 Kenneth Lange（Springer，2004 年）撰写，Russell Steele 在 JASA 中进行了评论。这是一本很好的教科书，其中包含 Gentle 的矩阵代数，用于矩阵微积分和优化的入门课程，就像Jan de Leeuw的课程（课程/202B）。
作为对这些内容的补充，您可能会发现 Magnus、JR 和 H. Neudecker (2007)。Matrix Calculus with Applications in Statistics and Econometrics，第 3 版虽然很重，但很有用。它开发了对矩阵的无穷小运算的完整处理，然后将它们应用于许多典型的统计任务，例如优化、MLE 和非线性最小二乘法。如果最终你会弄清矩阵算法的后向稳定性，那么掌握矩阵微积分将是必不可少的。我个人使用矩阵微积分的工具来推导空间统计和多元参数模型中的渐近结果。