让我们表示我们当时所处的状态$t$经过$S_t$. 然后在迭代$t$我们创建一个占位符$V_{old} = V(S_{t+1})$对于我们将过渡到的状态。然后我们更新价值函数$V(s) \; \forall s \in \mathcal{S}$- 即我们更新状态空间中所有状态的值函数。让我们将这个更新的价值函数表示为$V'(S)$.

迭代时$t+1$我们计算$\Delta = V'(S_{t+1}) - V_{old} = V'(S_{t+1}) - V(S_{t+1})$，它不一定等于 0，因为占位符$V_{old}$是在上次更新之前使用值函数创建的。