优化技术是否映射到采样技术?

机器算法验证 采样 优化
2022-02-02 18:26:53

从任何通用采样算法中,都可以推导出优化算法。

实际上,最大化任意函数f:xf(x), 从中抽取样本就足够了gef/T. 为了T足够小,这些样本将接近函数的全局最大值(或实践中的局部最大值)f.

我所说的“抽样”是指,从给定已知对数似然函数的分布中抽取一个伪随机样本,直到一个常数。例如,MCMC 采样、吉布斯采样、光束采样等。“优化”是指尝试找到最大化给定函数值的参数。


反过来可能吗?给定一个寻找函数或组合表达式最大值的启发式方法,我们可以提取一个有效的采样过程吗?

例如,HMC 似乎利用了梯度信息。我们能否构建一个利用类似 BFGS 的 Hessian 近似的采样程序?(编辑:显然是的:http: //papers.nips.cc/paper/4464-quasi-newton-methods-for-markov-chain-monte-carlo.pdf)我们可以在组合问题中使用 MCTS,我们可以翻译一下吗进入抽样程序?

背景:抽样的一个困难通常是概率分布的大部分质量都位于一个非常小的区域内。有一些有趣的技术可以找到这些区域,但它们并不能直接转化为无偏抽样程序。


编辑:我现在有一种挥之不去的感觉,即该问题的答案在某种程度上等同于复杂性类#P 和 NP 的相等性,因此答案可能是“否”。它确实解释了为什么每种采样技术都会产生一种优化技术,但反之则不然。

3个回答

Max Welling 和他的朋友在这两篇论文中提出了一种联系:

要点是“学习”,即。模型的优化从后验平滑过渡到采样。

有一个链接,这是 Gumbel-Max 技巧!

http://www.cs.toronto.edu/~cmaddis/pubs/astar.pdf

一种可能性是找到启发式的 CDF。然后根据蒙特卡罗理论我们知道对于Uunif[0,1]F1(U)F其中 F 是您所追求的分布的 cdf。如果您无法准确找到 cdf,则可以使用简单的基于接受拒绝的启发式方法。