这是可以做到的。例如，萨顿和巴托的强化学习书（第 332 页）第 2 版的第 13 章有“具有资格跟踪的演员评论家”的伪代码。它正在使用$G_t^{\lambda}$为评论家（价值函数估计器）返回，也为参与者的策略梯度返回。

请注意，您没有明确看到$G_t^{\lambda}$返回伪代码中提到的。它们通过资格跟踪被隐式使用，这允许有效的在线实施（“向后视图”）。

我确实有这样的印象，尽管在最近的研究中这种用途相当罕见。我没有亲自使用策略梯度方法来从个人经验中判断为什么会这样。我的猜测是，这是因为策略梯度方法几乎总是与深度神经网络相结合，而在没有开始涉及长轨迹回报的情况下，在训练这些东西时，方差已经是一个足够大的问题了。

如果你使用大$\lambda$和$\lambda$-返回，你得到低偏差，但高方差。为了$\lambda = 1$，你基本上又得到了 REINFORCE，它在实践中并没有真正使用，并且具有非常高的方差。为了$\lambda = 0$，您只需再次获得一步回报。更高的值$\lambda$（如$\lambda = 0.8$) 在我使用表格方法或线性函数逼近的经验中往往效果很好，但我怀疑使用 DNN 时方差可能太大了。

请注意，它非常流行$n$-step 返回一个固定的，通常相当小的，$n$在深度强化学习方法中。例如，我相信使用的原始 A3C 纸$5$-step 返回，Rainbow 使用$3$步返回。这些在实践中通常比$1$-step 回报，但由于使用小$n$.

最近的演员评论算法确实使用$\lambda$-returns，但它们被伪装成称为广义优势估计器的东西，定义为$A^{GAE}_t = \sum_{i=0}^{\infty} (\gamma\lambda)^i \delta_{t+i}$在哪里$\delta_t = r_t + \gamma V(s_{t+1}) - V(s_t)$. 事实证明这完全等于$[G^\lambda_t - V(s_t)]$，即_$\lambda$-return 减去一个价值函数基线。从理论上讲，任何演员-评论家梯度方法都可以很容易地使用它；它在 GAE 论文中与 TRPO 结合，后来用于 PPO。同样，ACER 使用一种称为 Retrace($\lambda$）。

对于像 DQN 或 DDPG 这样的重放方法，实现起来比较困难$\lambda$-返回。这就是为什么他们在历史上默认$n$-step 如@DennisSoemers 所述返回。我最近发表了一篇论文，描述了一种有效结合的方法$\lambda$- 回归体验重播，希望能增加人气$\lambda$-返回这些方法。