我实际上是在尝试在 RL 的背景下理解策略迭代。我读了一篇介绍它的文章，并且在某些时候，给出了该算法的伪代码：

我无法理解的是这一行：

据我了解，策略迭代是一种无模型算法，这意味着它不需要知道环境的动态。但是，在这一行中，我们需要$p(s',r \mid s, \pi(s))$（在我的理解中是 MDP 的转换函数，它给了我们登陆状态的概率$s'$知道以前的$s$状态和采取的行动）计算$V(s)$. 所以我不明白我们如何计算$V(s)$与数量$p(s',r \mid s, \pi(s))$因为它是环境的参数。