即使最大 Q 值的平均值从第 300 集开始增加，但这并不意味着您可以在状态下采取的操作的 Q 值的相对顺序发生变化，这意味着策略可能不会改变，即使价值函数发生变化，假设你对价值函数的行为是贪婪的。

更具体地说，假设您可以采取以下两种行动之一$\{ a_1, a_2\} = \mathcal{A}$在每个州$s \in \mathcal{S}$. 假设你选择$s_1, s_2$计算最大 Q 值的平均值。不失一般性，假设在这些状态中与最高 Q 值相关的动作是$a_2$. 如果您的策略是关于状态-动作价值函数的贪婪策略，那么您的策略将选择$a_2$在$s_1$和$s_2$. 如果所有 Q 值$\hat{q}(s_1, a_1)$,$\hat{q}(s_1, a_2)$,$\hat{q}(s_2, a_1)$和$\hat{q}(s_2, a_2)$增加（甚至减少）但它们的相对顺序保持不变（即$\hat{q}(s_1, a_2) > \hat{q}(s_1, a_1)$和$\hat{q}(s_2, a_2) > \hat{q}(s_2, a_1)$，从第 300 集开始），贪心政策也保持不变。

所以，我认为你观察到的在理论上是可能的，尽管我不能保证你没有其他问题。