第二个等式是正确的。在 TD ($\lambda$）， 这$\lambda$在$\lambda = 0$, 和蒙特卡洛回报（使用完整情节的回报）$\lambda = 1$.

在第一个等式中，$\sum_{j = i}^{N - 1} \lambda^{j - i} d_i$可以解释为...总结完全相同的时间差项$d_i$多次（具体来说，$N - 1 - j$次），但每次乘以不同的标量。我不确定这有什么用处。

在第二个等式中，$\sum_{m = i}^{N - 1} \lambda^{m - i} d_m$可以解释为加权组合；

• $1 \times d_i$：这是我们预测的回报之间的差异$i + 1$，而我们之前预测的回报将是$i$.
• $+ \lambda^1 \times d_{i + 1}$：我们自己的两个预测之间的差异非常相似，现在是当时的预测$i + 2$和$i + 1$. 这次时间差项由参数加权$\lambda$（完全忽略如果$\lambda = 0$, 全重如果$\lambda = 1$, 如果介于两者之间$0 < \lambda < 1$）。
• $+ \lambda^2 \times d_{i + 2}$: 又是一个类似的时差项，现在又向未来迈进了一步。在以下情况下，权重比上一期多一点$0 < \lambda < 1$.
• 等等。

对于熟悉 TD($\lambda$), 萨尔萨 ($\lambda$)、资格痕迹等来自强化学习文献，这更有意义。该符号与 TD 等算法的标准文献仍有一些不同（$\lambda$)，但实际上一旦你注意到在本文中他们讨论的领域只有与终端状态相关的奖励，而没有中间奖励，实际上就变得等价了。

直观地说，他们在做什么$\lambda$参数为短期预测/短期“期望”（英语意义上的单词，而不是单词的数学意义上的）或奖励观察分配更多的权重（或“信用”或“重要性”），长期预测/观察。在极端情况下$\lambda = 0$，你完全忽略了长期的预测/观察，只传播观察到的奖励非常缓慢，一步一步地传播。在另一个极端情况下$\lambda = 1$，您将在剧集结束时观察到的奖励以相同的权重传播到剧集的开始，通过您进入的所有状态，为观察到的奖励赋予它们相同的权重。和$0 < \lambda < 1$，你选择这两个极端之间的平衡。

另请注意，KnightCap 论文中的方程式（5）（他们类似地讨论了$\lambda = 1$，就像我上面做的那样）如果我们从你的问题中取第一个方程是不正确的，但如果我们取第二个方程是正确的。

当然，第一个等式是正确的。d是时间差，它是当前状态和下一个状态之间的差。当前状态是i，这个差值需要在求和循环内保持不变。

第二个等式只是一个拼写错误。