我一直在研究 AlphaZero 背后的原理。尤其是这个备忘单(1) 和这个实现(2)（在 Connect 4 中）非常有用。

然而，我还有两个重要的问题：

1. 政策网络如何更新？在 (2) 中，棋盘位置保存在元组数据集中（状态、策略、值）。该值来源于自玩游戏的结果。但是，我不确定保存了哪个策略：每一步已经播放的次数，每一步的先验概率（我猜不是），还是其他？

2. 备忘单说（对于竞争性游戏）选择具有最大 N（= 访问次数最多）的移动。选择政策负责人计算出的概率最高的举动不是更合乎逻辑吗？