我一直在处理一个我试图用 DQN 解决的问题。我的一个普遍问题是关于目标的更新频率。应该如何改变？我们根据什么因素增加或减少这个超参数？
我应该如何选择 DQN 中目标的更新频率？
人工智能
强化学习
深度学习
dqn
超参数优化
超参数
2021-11-04 21:54:18
1个回答
正如您自己所说，它是一个超参数。因此，没有人（甚至您）可以说出理想的更新频率是多少。你必须测试和尝试。
话虽如此，请记住一件事，目标 NN 应该尽可能地模仿实际网络。因此，如果您在长时间运行后更新它，那么我认为您将开始失去准确性。相反，如果你更新得太频繁，那么你就会失去使用目标网络的好处（即提高训练率和减少训练时间），训练会花费更多的时间。
我的建议是每 5 到 8 集尝试更新一次。