我猜效用函数的期望梯度，$\nabla_{\theta}J(\theta)$在策略梯度方法中$\nabla_{\theta}J(\theta) = E_{\tau \sim p(\tau ; \theta)}[r(\tau)\nabla_{\theta}log p(\tau;\theta)]$可以使用单个样本轨迹来近似，如stanford 的深度强化学习讲座中所示，其中$J(\theta) \approx \sum_{t > 0}r(\tau)\nabla_{\theta}log\pi_{\theta}(a_t |s_t)$并且不需要平均采样轨迹来计算梯度$\theta$梯度方向更新。