考虑一个函数$f(x)$在哪里$x$是一个随机变量，其分布取决于$\theta$. 目标是最小化

$$\begin{align*} \mathbb{E}_x[f(x)] = \int_x f(x) \pi(x, \theta) dx \end{align*}$$ 在哪里$\pi(x, \theta)$是概率密度$x$给定参数$\theta$（要正式，您应该使用虚拟变量代替 x）。那么梯度是 $$\begin{align*} \nabla_{\theta} \mathbb{E}_x[f(x)] = \int_x f(x) \nabla_{\theta}\pi(x, \theta) dx \label{1}\tag{1} \end{align*}$$ 方程。(1)本质上是策略梯度。我认为当写成 Eq 时。(1)，很清楚梯度的实际含义。

要了解为什么这是策略梯度，首先我们有

$$\begin{align*} \int_x f(x) \nabla_{\theta}\pi(x, \theta) dx = \int_x f(x) \nabla_{\theta}\pi(x, \theta) \dfrac{\pi(x, \theta)}{\pi(x, \theta)}dx = \mathbb{E}_x[ f(x) \nabla_{\theta}\log \pi(x, \theta)]. \end{align*}$$ 现在解释$x$作为行动，并解释$f(x)$成为预期回报。我省略了这个的全部细节，但希望你能明白。

策略梯度只是预期收益的梯度，相对于动作分布的参数。

我建议不要试图将这一点与监督学习联系起来。

政策$\pi(\cdot; \theta)$只是一个由 theta 参数化的函数。如果我们采取$\log$这个函数，它仍然只是一个函数。我们希望对该函数对参数进行（偏）导数，以便我们可以对参数执行梯度上升步骤。

一个简单的例子可以通过让$\pi(a; \alpha, \beta) = \exp(\alpha + \beta a)$. 在策略梯度定理中，我们必须首先记录可以给我们的策略$\log(\pi(a; \alpha, \beta)) = \alpha + \beta a$, 参数的偏导数是$\nabla_\alpha \log(\pi(a; \alpha, \beta)) = 1$和$\nabla_\beta \log(\pi(a; \alpha, \beta)) = a$. 然后我们可以使用这些偏导数在我们的目标（价值函数，这当然是我们想要最大化的）的梯度方向上执行梯度上升更新$\alpha$和$\beta$对于给定的回报$G_t$和行动$a_t$经过

$$\begin{equation} \alpha' = \alpha + G_t \times \nabla_\alpha \log(\pi(a_t; \alpha, \beta)) = \alpha + G_t \times 1 \; \\ \beta' = \beta + G_t \times \nabla_\alpha \log(\pi(a_t; \alpha, \beta)) = \beta + G_t a_t\;. \end{equation}$$

然而，在实践中，您可能需要一个更复杂的策略函数，通常是某种描述的神经网络。然而，一切都转化为这些更复杂的函数，你将需要计算更多的偏导数。