REINFORCE 被称为梯度估计器，因为它不适用于真正的梯度，它来自损失函数和整个数据，但构成了启发式损失，因此它最终得到的梯度不是真正的梯度。让我们看看 REINFORCE 方程：

$${\huge \Delta \mathbf{\theta}_t = \alpha \nabla_{\mathbf{\theta}} \log \pi_{\mathbf{\theta}} (a_t \mid s_t) v_t }%$$

如图所示，梯度仍然存在（$\nabla_\theta$）。但是策略对应于网络的输出，因此我们可以使用反向传播来计算启发式损失相对于权重的梯度。我们不知道真正的梯度，但这种估计可以完成这项工作。