嗨：我会尽量简短地回答，并且只针对统计数据。不是dsp。

在统计学中，如果你有一个很好的 pdf，比如正态分布，那么最大化似然性就相当于最小化残差的平方和（通常称为错误）。

在其他情况下，如果您有一个复杂的分布（可能模型是非线性的并导致更复杂的似然性），那么最大化似然性并不等同于最小化残差平方和。因此，您仍然可以选择最大化似然性，但由于似然性很复杂，因此通常需要求助于梯度下降、BFGS 等数值优化算法。

所以，我认为你的困惑是由于它（也许不幸的是）恰好是最大化正常的可能性等同于最小化残差平方和的情况。

然后还有其他情况，最大化可能性太难了，或者可能性甚至无法以封闭形式推导。在这种情况下，人们定义了其他目标函数（启发式），这些函数仍然可以衡量模型对数据的拟合程度。这样做，可以使用您所指的遗传、粒子群类型的优化方案。这些方案通常被称为非参数方案，因为这些目标函数与参数似然性（例如法线、t、伽马等）无关。事实上，这种可能性通常甚至是未知的。

基本上，使用哪种优化取决于您是否有 pdf 以及它的复杂程度。

一个非常粗略的分类如下：

1）正常情况：：直截了当：最大化它或最小化残差平方。

2）非正常情况：似然是复杂的，可能是非线性的但已知：bfgs或梯度下降或其他一些可以处理似然的封闭形式版本的数值方法。

3）可能性太复杂或未知或不存在：定义自己的目标函数来衡量模型的质量并使用粒子群等算法。

请注意，在上面的 2) 中，您必须担心您达到的最佳值是否是局部的、全局的等，这可能非常棘手。这也可能是 3) 中的情况。我不像数值方法那样熟悉遗传算法。

我希望这会有所帮助。对于您所问的问题，我不确定是否有很好的参考。Kenneth Lange 有一本书“统计学中的数值方法”可能是相关的，但我没有。祝你好运。

最大似然法是由著名的统计学家 Ronald Fisher 开发的，是的，本质上涉及优化，毕竟您希望最小化您的错误，并且由于您的数据是随机的，因此可以最大限度地减少预期错误。在高斯（正常）情况下，您可以选择多个错误标准并最终得到相同的估计量。在像 Kay 一样的书中，您通常可以分析性地进行优化。在范树中，检测、估计和调制理论，第一卷，第一版，最大似然和 MAP 是从错误标准的不同选择中得出的。优化几乎总是解析的，所以基本的估计原理不需要线搜索和 Hessian 来理解。实际上，数值优化的随机性需要相当复杂的数学来证明收敛性远高于确定性优化，而像 Kay 和 Van Trees 这样的估计文本已经有几千页了。一些 DSP 估计书籍将涵盖一些特定于复杂变量（如复杂梯度）的优化主题。

EM算法（实际上是算法家族）是一种与BFGS（或DFP）不同的间接优化技术。

应该提到的是，最大似然还包括混合的组合参数和连续参数。一个相对较新的想法称为随机集理论在这里得到了普及。

统计和信号处理之间存在一些差异，但统计内部也存在差异。在最大似然中，假设感兴趣的参数是一个未知的确定量。在信号处理中，混合了确定性和随机参数假设。DSPer 通常认为确定性参数是具有 delta 函数概率密度和“扩散先验”的随机参数的特殊情况。

全局与局部优化的一般问题是一个真实的问题，特别是在混合组合和连续参数估计问题中。大多数 DSP 应用程序往往是实时的，具有延迟要求，因此在许多情况下，本地优化就足够了，或者很大程度上取决于启发式方法。