我一直在阅读这篇出色的帖子：https ://medium.com/@jonathan_hui/rl-policy-gradients-explained-9b13b688b146并关注 David Silver 的 RL 视频，但我没有得到这个东西：

为了 $\pi_\theta(\tau) = \pi_\theta(s_1, a_1, ..., s_T, a_T) = p(s_1) \prod_{t=1}^T \pi_\theta(a_t | s_t)p(s_{t+1}|a_t, s_t)$ 作为给定轨迹在一个周期中的可能性，价值函数的导数变为

$$\nabla_{\theta}J = E[\nabla_{\theta}log\pi_{\theta} \cdot r ]$$

然后立即变成

$$={{1} \over {N}} \sum_{i=1}^{N}(\sum_t^T \nabla_\theta log \pi_\theta(a_{i,t}, s_{i,t})) r$$

即对所有 N 条路径求和$\tau$，而我预期

$$=\sum_\tau \pi_\theta(\tau) \sum_t^T \nabla_\theta log \pi_\theta(\tau) r$$

我没有得到什么：轨迹的概率在哪里$\pi_\theta(\tau)$（最左边的总和）去还是为什么它被所有路径的平均值所取代？假设你从一个已知的起始位置开始，所有的轨迹都是同样可能的吗？

（您可以在上面链接的博客文章中找到方程式，在“优化”一章的末尾，就在“直觉”一章之前。）