让 $E_\phi : D\rightarrow \mathbb{R}$ 成为您训练有素的可微回归模型，其中 $D$是数据空间，例如图像。让$G : \mathbb{R}^d\rightarrow D$ 是来自潜在空间的一些生成模型或解码器（例如，GAN 或来自 VAE 的解码器）。

假设我们要找到 $x\in D$ 这样 $x = \min_y E_\phi(y)$. 然后有两种明显的方法：

1. 数据空间中的梯度下降：即求解$x = \min_y E_\phi(y)$通过迭代$x_t = x_{t-1} - \eta\nabla E_\phi(x_{t-1})$.

2. 潜在空间中的梯度下降：即求解$z = \min_u E_\phi(G(u))$通过迭代$z_t = z_{t-1} - \eta\nabla (E_\phi(G(z_{t-1})))$.

两者都很常见。（2）的主要好处是（a）你更有可能得到一个“合理的”$x=G(z)$因为发电机$G$被训练给你一个（即，$x$应该看起来像是来自$D$, 在 (1)), (b)中不能保证 $d$通常比$|D|$，使优化更容易，并且（c）甚至可能无法做到（1）（例如，在分子生成中，由于离散性问题，我们可以做到（2）但不能做到（1））。然而，有一个很大的缺点：需要学习$G$，这本身就不是微不足道的。（因此为什么例如生成对抗性示例，（1）更受欢迎。）

在某些情况下，人们可能还想避免基于梯度的优化，在这种情况下，我经常看到使用贝叶斯优化方法。