您在 TRPO 论文的两个不同版本之间观察到的差异是由于问题和目标的不同形式化造成的。

在您链接的论文的第一个版本中，它们从第 2 节开始，将马尔可夫决策过程 (MDP) 定义为具有成本函数的元组 $c : \mathcal{S} \rightarrow \mathbb{R}$. 他们定义$\eta(\pi)$作为保单的预期贴现成本$\pi$，随后还定义了状态-动作值函数$Q_{\pi}(s_t, a_t)$, 值函数$V_{\pi}(s_t)$, 和优势函数$A_{\pi}(s, a)$在成本方面。最终，在等式 15 中，他们写出以下内容：

$$\begin{aligned} \underset{\theta}{\text{minimize }} & \mathbb{E}_{s \sim \rho_{\theta_{\text{old}}}, a \sim q} \left[ \frac{\pi_{\theta}(a \vert s)}{q(a \vert s)} Q_{\theta_{\text{old}}}(s, a) \right] \\ \text{subject to } & \mathbb{E}_{s \sim \rho_{\theta_{\text{old}}}} \left[ D_{KL}(\pi_{\theta_{\text{old}}}(\cdot \vert s) ~ \vert \vert ~ \pi_{\theta}(\cdot \vert s)) \right] \leq \delta \end{aligned}$$

现在，那里发生了很多事情，但是我们可以非常非正式地将其“简化”为仅与此问题相关的部分，如下所示：

$$\underset{\theta}{\text{minimize }} \mathbb{E} \left[ Q(s, a) \right]$$

当我们看到这一点时，我们会发现我们非常努力地尽量减少$Q$-values，即成本；这是有道理的，通常成本是我们想要最小化的东西。

---

在您链接的论文的第二个版本中，他们更改了第 2 节中的预备内容。现在它们不再具有成本函数$c$在他们对 MDP 的定义中；他们已将其替换为奖励功能 $r : \mathcal{S} \rightarrow \mathbb{R}$. 然后他们继续定义$\eta(\pi)$作为预期的折扣奖励（而不是预期的折扣成本），并定义$Q$,$V$和$A$在奖励而非成本方面。现在这一切都符合强化学习中的标准通用术语。

最终，等式 14 看起来与我们在上面看到的相同，这又是关于$Q$-价值观。但现在$Q$- 价值是奖励而不是成本。奖励通常是我们想要最大化而不是最小化的东西，所以这就是目标交换的原因。