我有一个包含许多变量（~200-2000）的函数，我正在使用 L-BFGS 进行优化并取得了一些成功。虽然该函数的评估成本很高，但无需太多额外工作即可计算梯度。

我想知道是否有任何技术可以通过函数的并行评估来加速这种优化。在这个问题上，L-BFGS 每次迭代平均约 1.1-1.3 次评估，所以我认为一个很好的近似值，我可以忽略算法的线搜索组件。从这个角度来看，在每次迭代中，L-BFGS 选择一个试探性的输入来评估函数及其梯度，更新其对逆 Hessian 的估计并重复。

我想可以通过选择多个暂定输入并使用多个结果梯度来更好地估计 Hessian 来增强这种方法。我想存在某种形式的收益递减，L-BFGS 选择的点可能具有最高的预期信息，但肯定有一些关于 Hessian 的额外信息，可以通过每次迭代使用更多的函数评估来推断。

是否对这种方法进行过调查？我知道有很多资源可用于并行无梯度优化以及并行梯度估计，但我还没有遇到过这样的事情。