我已经阅读了关于双 DQN 的原始论文，但我没有找到关于目标如何实现的清晰实用的解释$y$是计算出来的，所以这就是我解释该方法的方式（假设我有 3 个可能的操作 (1,2,3)）：

1. 对于每一次体验$e_{j}=(s_{j},a_{j},r_{j},s_{j+1})$小批量的（考虑一个经验，其中$a_{j}=2$) 我在状态下通过主网络计算输出$s_{j+1}$，所以我获得了 3 个值。

2. 我看看这三个中哪一个是最高的，所以：$a^*=arg\max_{a}Q(s_{j+1},a)$, 假设$a^*=1$

3. 我使用目标网络来计算中的值，所以 $a^*=1$$Q_{target}(s_{j+1},1)$

4. 我使用点 3 处的值来替换与已知动作关联的目标向量中的值，因此：，而和，它们完成目标向量保持不变。$a_{j}=2$$Q_{target}(s_{j+1},2)\leftarrow r_{j}+\gamma Q_{target}(s_{j+1},1)$$Q_{target}(s_{j+1},1)$$Q_{target}(s_{j+1},3)$$y$

有什么问题吗？