背景

我特指以下形式的非凸黑盒优化问题：

$\text{min} f(\vec{x})$
$s.t. \ \ a_i\le x_i \le b_i \ \forall i\in \{1,2,...,n\} \ \ \ \text{and}\ \ \ \vec{a},\vec{b}\in \Bbb{R}^n$

假设任何$n$

感兴趣的是产生良好解决方案的全局优化器，但这些解决方案不一定也可证明是全局最优的。

进化算法

进化算法 (EA) 通常是这类问题的首选优化器；这些方法包括：遗传算法、粒子群优化器、差分进化以及所有基于有机体相互作用的算法。几乎每个 EA 都有随机分量。无论是随机初始化，还是代际（或代内）子程序中的随机性，例如选择交叉或随机突变，随机性在 EA 领域中非常普遍。您在本期刊或本期刊中找到的几乎所有内容都属于这一类。

非随机优化与确定性全局优化

我对确定性全局优化器不感兴趣。这种方法提供了某种形式的概率/置信度，甚至可以保证找到的解决方案确实是全局最优的。这些在离散/组合优化中更常见，但有时当用户具有某种形式的先验知识/假设时，一些确定性优化器会变得切线相关。确定性优化器的偏好/必要性是明确的，即使他们只是对他们找到的解决方案给予相关的信心。再说一次，我不是指这些。

非随机全局优化器

我只知道一些非随机的全局优化器。最著名的可能是直接搜索（也称为模式搜索）算法的许多变体。由Fermi 和 Metropolis构思，然后由Hooke 和 Jeeves推广，并扩展到广泛使用正基作为网格的广义模式搜索 (GPS)，直接搜索算法类似于经典的Nelder -Mead 方法，因为它们使用具有基本几何结构的点的邻域（确定性地）探索搜索空间。当然也存在一些非随机变体，包括Luus-Jaakola对均匀分布邻域的采样或更流行的网格自适应直接搜索 (MADS)及其所有衍生产品。

还有一些其他的非随机全局优化器隐藏在互联网上，比如这个，但我还没有找到一个解释非随机性的实际意义的。

问题

如上述背景中所述，非随机全局优化器有哪些具体用例？

是否存在需要非随机优化的情况？可能是关键任务优化，或者您需要可重复性的地方？也许是医学导向的东西？还是为了可解释性？

我能想到的唯一例子（来自 ML/DL 背景）是稍微偏爱但肯定没有必要的情况。特别是，我们可以使用非随机优化算法训练 ML 模型，这可以让我们观察 ML 模型超参数的效果。换句话说，消除优化器中的随机性可以帮助解释/调整实际的 ML 模型超参数，因为您可以看到修改的原因/影响，而目前由于训练中涉及的随机性而存在不确定性。