假设$\tau = (\mathbf{s}_1,\mathbf{a}_1,...,\mathbf{a}_T)$是来自的采样轨迹$\pi_\theta(\tau)$有回报$r(\tau)=\sum_{t=1}^{T}r(\mathbf{s}_t,\mathbf{a}_t)$然后我们将预期奖励（我们的成本函数）定义为：

$$J(\theta)\equiv E_{\tau\sim \pi_\theta(\tau)}[r(\tau)] = \int \pi_\theta(\tau)r(\tau)d\tau$$

在哪里$\pi_\theta(\tau)$=$\pi_\theta(\mathbf{s}_1,\mathbf{a}_1,...,\mathbf{a}_T)=p(\mathbf{s}_1)\prod_{t=1}^{T}\pi_\theta(\mathbf{a}_t|\mathbf{s}_t)p(\mathbf{s}_{t+1}|\mathbf{s}_t,\mathbf{a}_t)$.

请注意，pdf$\pi_\theta(\tau)$这是状态和动作的联合概率分布。因此期望来自：

$$E[X]=\int_{-\infty }^{\infty} \int_{-\infty }^{\infty} xf(x,y)dxdy$$

这就是您需要整合大量状态和操作的原因。$p(\mathbf{s}_1)$是初始状态的分布，独立于动作的积分，因此它可以脱离第二个积分。取联合分布的对数$\pi_\theta(\tau)$, 代入$J(\theta)$并对第一个等式的两边进行微分，得到一个等式 wrt$\theta$您可以计算的参数和数量，以便您可以估计梯度$J(\theta)$.

我对您的符号不是很熟悉（我认为您在硕士论文中找到了它），但这是一般方法。