在这种情况下，$\pi$一直是一个$\epsilon$-贪婪的政策。在每次迭代中，这$\pi$用于生成 ($\epsilon$-贪婪地）新的轨迹$Q(s, a)$计算值。“伪代码”中的最后一行告诉您该策略$\pi$将是一个新的$\epsilon$-下一次迭代中的贪婪策略。由于改进的策略和采样的策略相同，因此学习方法被认为是一种on-policy方法。

如果最后一行是$\mu \leftarrow \epsilon\text{-greedy}(Q)$，这将是一种脱离策略的方法。