重要的部分，您可以在其中看到单个奖励值用于$n$不同的更新，是总和的部分$R_i$值与$i$范围从$\tau + 1$到$\tau + n$被分配到$G$.

所以是的，算法的外循环每次迭代总是最多进行一次更新，但对于该更新，它使用多个先前观察到的$R_i$价值观。其中每一个$R_i$values 用于多个更新（不是同时进行多个更新，而是多个更新分布在不同的迭代中）。