我们需要存储动作$a$因为它告诉我们在我们正在备份的状态下采取的行动。

假设我们处于状态$s$我们采取行动$a$，那么我们将获得奖励$r$和下一个状态$s'$. RL 的目标，尤其是 DQN（我提到 DQN，因为它是我想到重放缓冲区时想到的第一个算法，但它当然不是唯一使用它的算法），是我们试图学习最优状态-动作价值函数$Q(s, a)$. 因此，我们希望我们的价值函数能够预测$y = r + \gamma \max_{a'}Q(s', a')$，即给定$s$和$a$我们希望能够预测$y$. 如您所见，我们需要知道我们在 state 中采取了哪些操作$s$这样我们就可以训练我们的价值函数来近似$y$，并且价值函数显然取决于$a$，因此我们还需要存储$a$在我们的经验元组中。

经验回放的目标最早由Lin (1992)提出，最近由Mnih 等人成功应用于 DQN 算法。(2013)旨在打破更新的时间相关性，并防止忘记以后可能有用的经验。

为了达到这些目标，回放缓冲区应该存储学习步骤中所需的元组。

大多数使用经验回放的作品，包括前面提到的那些，都学习（近似）Q函数，即$Q(s,a)$. 显然，这个函数依赖于采样的动作$a$.

如果$a$在训练过程中根本不使用，那么它就不需要存储在回放缓冲区中。然而，在这种情况下，激发重播缓冲区的问题可能一开始就不存在。