我是强化学习的新手，所以请多多包涵。我正在使用 actor-critic 方法训练一个代理来玩 ms-Pacman。

下面是几次运行的结果，在两张图中，橙色线是前 100 个值的平均值。左图是剧集持续时间，右图是每集获得的奖励。

在这两次运行中，代理都在稳定地学习，然后崩溃，并且无法恢复。代理是否通过这种方法达到了最大潜力，或者这是过度拟合的情况？

两次运行的超参数：

• 批量： 128
• 重放内存缓冲区：500,000
• Epsilon 最小值：0.1
• Epsilon 最大值：1.0
• Epsilon 最小值在大约 2,000,000 步时达到（约 3,000 集）