背景
我有一个未知函数
但是我可以有限地评估这个函数次,
然后我有一个模型我可以从数据计算,我想最小化,
我有一个未知函数
但是我可以有限地评估这个函数次,
然后我有一个模型我可以从数据计算,我想最小化,
我认为这可以通过从顺序蒙特卡罗和准蒙特卡罗方法中得出来回答。
构成您的问题的关键概念是探索-利用困境:
对于探索部分,准蒙特卡罗方法告诉我们选择低差异序列以尽可能有效地覆盖空间。在 2D 中,您选择的方法无关紧要。您基本上需要一个类似网格的结构,例如参见Sobol 序列。如果您只想尽可能多地探索,这可以回答您的问题(请参阅Koksma-Hlawka 不等式)。
对于开发部分,我们需要采用更动态的视角;不知何故,我们需要从已经存在的样本中学习,以便专注于对我们重要的地方,因为我们的样本越来越多。在这里,重要性抽样为我们提供了一种关注景点的方法。例如,如果我们有兴趣找到的峰值,给定一组个现有样本成比例的概率的邻域重新采样。在您的情况下,您可能希望在的梯度较大的地方重新采样。
如何平衡探索和利用是一个没有答案的问题;这实际上取决于您的问题和可用资源。
要为您的问题提供具体答案,您可以考虑覆盖 2D 空间的 3x3 网格,每个单元格的中心都有一个样本。由此,您可以通过将获得的值与邻居进行比较来估计每个单元格中的“梯度”。然后迭代:
这将是采样的一种自适应方式。显然这只是一个解决方案的草图,还有很多细节需要解决(主要是如何比较不同大小的框之间获得的值,以及梯度估计的预期方差是多少)。