在 Sutton 和 Barto 的书中介绍的标准策略迭代算法中，您在策略评估 (PE) 步骤和策略改进 (PI) 步骤（即 PE、PI、PE、PI、PE、PI、PE、... ）。但是，一般来说，您不必严格遵循这种交替来收敛（在极限内）到最优策略。例如，值迭代 (VI) 是截断策略迭代的一个示例，它仍然会收敛到最优策略。

广义策略迭代(GPI)是指所有基于策略迭代的算法，例如值迭代，以某种顺序交替PI 和 PE，并保证收敛到最优策略，前提是 PE 和 PI 执行足够多的次数.