尽管 RL 算法可以在线运行，但在实践中，当学习脱离策略（如在 Q 学习中）和使用函数逼近器时，这并不稳定。为了避免这种情况，可以将新经验添加到历史记录中，并且代理从历史记录中学习（称为经验回放）。您可以将其视为一种半在线方法，因为新数据可立即用于学习，但根据批量大小和历史记录大小，它可能不会用于在几个时间步长内更改参数。

通常在像 DQN 这样的 RL 系统中，你会在每个动作之间训练一些随机抽样的批次，在一些历史数据窗口之外（可能是所有历史数据，可能是最后 N 步）。您在动作之间执行的训练量是模型的超参数，任何对新数据的采样偏差也是如此。

例如，在Deep Mind 团队的 Atari 游戏论文中，代理在玩游戏时对具有 32 个观察值（状态、动作、奖励、下一个状态）的小批量进行采样，以在每个动作之间训练神经网络在线的。

在线学习中没有时代的概念。如果您使用每个 epoch 来报告性能指标，并希望继续使用可比较的数字，那么您可以选择一些训练迭代次数。对此没有固定的规则，但您可能需要考虑报告与在历史数据上训练时相似的迭代次数相同的统计数据 - 例如，如果您的历史中有 10,000 个训练样本，现在正在使用小批量在线训练每个时间步的大小为 50，然后每 10,000/50 = 200 个时间步报告进度。