不应该计算未来某个遥远时间的预期回报（𝑡+𝑛）而不是当前时间$t$?

这部分是一个符号问题，但是$G_t$正如您问题中的第一个（也是正确的）方程式所看到的那样，已经是未来的奖励总和。您实际上并不知道任何个人回报的价值$g_t$* 直到之后$t+n$. 但是，您可以预测期望值$\mathbb{E}[G_t]$只要环境和政策保持一致。

您的第二个方程式与第一个方程式非常相似，这就是为什么我说它部分是符号问题。但是，计算回报的前瞻性预期的重点是允许及时评估$t$. 这是为了在知道系统处于状态的情况下预测未来奖励的可能结果$s_t$，或者在控制场景中选择一个动作$a_t$.

此外，在预测和控制场景中，过去（从时间步$0$到$t-1$) 已经发生了。衡量一个系统在收集奖励方面做得如何，回顾过去，可能是有用的指标，例如“这个代理有多好？”。但是，它们通常不是未来的指南。在许多稀疏的环境中（例如棋盘游戏得分+1 获胜），这些数据对于预测未来基本上是无用的，而您想知道的所有内容都由当前状态和执行策略来概括。

无论您何时最终计算收益，开始时间步长（计算收益的轨迹部分）都是一个关键参数。结束时间步是实现的一个实际关注点，但出于理论上的目的，通常可以认为是无穷大（即我们对测量或优化所有未来的奖励感兴趣）。因此，如果您只打算在符号中显示/使用一个参数，则开始时间$t$是要使用的。

有符号的变体，以显示如何计算回报，其中计算范围是明确的，例如$G_{t:t+n}$对于截断的回报或$G_{t:t+1}$在计算一步时间差目标时。我所看到的所有这些仍然保持定义与当前时间步相关的值的前向视图$t$，出于与上述相同的原因 - 它在时间步长$t$该值作为预测最受关注。

在训练期间的练习中，你经常等到$t+n$在你知道正确的值之前$g_t$* 应用为训练值 - 然后用于更新价值估计$\hat{v}(s_t)$或者$\hat{q}(s_t, a_t)$. 可以使用资格跟踪等技术在该结束时间步之前进行部分更新。

* 使用大写符号$G$对于随机变量和小写$g$为测量值。