我有一个关于$W$Sutton & Barto 的第 111 页上的 off-policy MC 控制算法中的术语。我也将它包含在下图中。

我的问题：不应该检查$A_{t} = \pi(S_{t})$更新前制作$C(S_{t}, A_{t})$和$Q(S_{t}, A_{t})$? 并且，此时如果$A_{t} \neq \pi(S_{t})$那么内部循环应该在更新之前退出$Q(\cdot)$. 如果$A_{t} = \pi(S_{t})$那么不应该$W$更新为 $W = W \frac{1}{b(A_{t}|S_{t})}$在更新之前$Q(s, a)$和 $C(s, a) 函数？

所述算法对我来说似乎有问题。例如，如果说目标策略$\pi$是确定性和行为策略$b$是随机的。如果在期间$T-1$行为策略采取的行动与$\pi$那么重要性采样率$\rho_{T-1:T-1} = 0$. 但是，如图所示的算法会更新$Q(S_{T-1}, A_{T-1})$因为我上面提到的检查直到内部循环结束时才会发生。我在这里想念什么？