幻灯片和书是一致的。请注意幻灯片中的摘要是如何限制的：即 。对于，您需要从$a \neq A_{t+1}$$G^{(2)}$$V_{t+1}$中“删除”不应该存在的术语，即$A_{t+1}$.

现在，为什么要删除这个词？

如果您保留此术语，您将添加$A_{t+1}$两次。在 1-step 备份中，它是 step 期望的一部分$S_{t+1}$.

当您计算要替换的两步备份时$(S_{t+1}, A_{t+1})$在 1 步期望中，贴现期望值为$S_{t+2}$. 因此，您减去该术语并添加折扣期望$S_{t+2}$