我不完全确定为什么策略梯度必须在策略上并且必须使用从当前行为中采样的轨迹进行更新。在 REINFORCE 中，损失函数由动作的对数概率乘以奖励（或折扣奖励）决定。

对于状态，如果我采取行动并到达状态我将始终看到奖励。因此，如果我保留了所有这些值，通过我当前的演员运行过去的的新对数概率和已知的奖励更新我的演员。我不需要真正玩过并看到新的结果。$s$$a$$s'$$r$$s$$a$$r$

有人可以纠正我的理解吗？

谢谢