有许多技术可以在不明确与环境交互的情况下训练 RL 代理，其中一些在您链接的论文中被引用。哎呀，即使像基础DQN 论文中那样使用体验回放也是一种方法。然而，虽然许多模型为了安全或速度而使用某种预训练，但有几个原因可以说明尽可能使用环境。

最终，您的 RL 代理将被放置在一个环境中以采取自己的行动。这就是我们训练 RL 代理的原因。我假设，根据您的问题，在此阶段不会发生学习。

也许你的代理遇到了一个新
情况$(s,a)$你的代理人会遇到的。如果不是，您的代理将不会了解这些情况，并且它在这些情况下总是表现不佳。这种对状态-动作空间的覆盖不足可能是由环境中的随机性或非平稳性引起的。

也许老师并不完美
如果你不允许你的代理从自己的经验中学习，它的表现只会和收集演示数据的代理一样好。这是我们没有理由为自己设定的性能上限。