从任何通用采样算法中,都可以推导出优化算法。
实际上,最大化任意函数, 从中抽取样本就足够了. 为了足够小,这些样本将接近函数的全局最大值(或实践中的局部最大值).
我所说的“抽样”是指,从给定已知对数似然函数的分布中抽取一个伪随机样本,直到一个常数。例如,MCMC 采样、吉布斯采样、光束采样等。“优化”是指尝试找到最大化给定函数值的参数。
反过来可能吗?给定一个寻找函数或组合表达式最大值的启发式方法,我们可以提取一个有效的采样过程吗?
例如,HMC 似乎利用了梯度信息。我们能否构建一个利用类似 BFGS 的 Hessian 近似的采样程序?(编辑:显然是的:http: //papers.nips.cc/paper/4464-quasi-newton-methods-for-markov-chain-monte-carlo.pdf)我们可以在组合问题中使用 MCTS,我们可以翻译一下吗进入抽样程序?
背景:抽样的一个困难通常是概率分布的大部分质量都位于一个非常小的区域内。有一些有趣的技术可以找到这些区域,但它们并不能直接转化为无偏抽样程序。
编辑:我现在有一种挥之不去的感觉,即该问题的答案在某种程度上等同于复杂性类#P 和 NP 的相等性,因此答案可能是“否”。它确实解释了为什么每种采样技术都会产生一种优化技术,但反之则不然。