我查看了附加到AlphaZero 论文补充材料的数据 S1 的 Python 伪代码。这是我的发现：

• 与论文相反，AlphaZero 不存储$\{N(s, a), W(S, a), Q(s, a), P(s, a)\}$每条边的统计信息$(s,a)$. 相反，AlphaZero 存储$\{N(s), W(S), Q(s), P(s)\}$每个节点的统计信息$s$.
• 当一个叶子节点$S_L$扩展后，它的访问次数、价值分数和操作策略会立即更新$\{N(s), W(S), Q(s), P(s)\}$， 所以$N(s)$至少是$1$. 这就是为什么在论文中，所有时间步的反向传播步更新$t \le L$而不是$t < L$. 更新有意义$s_L$即使没有对应的$a_L$配对。
• 因此，当展开一个新的叶子节点时，其值$U(s, a)$该叶节点的子节点的值将非零，因为$\sqrt{\sum_b N(s,b)}$实际上计算为$N(s_{parent})$在代码中，至少为 1。
• 奇怪的是，我认为伪代码中可能存在错误，因为在第一次迭代的开始（从根节点开始），$U(s,a) = 0$对于根节点的所有子节点。这是因为在第一次迭代中，$N(s_{root}) = 0$. 所有子节点的值将是$0$，并且由于作者选择根据 Python 的max函数打破平局，因此该算法只需选择它找到的第一个元素以防平局。
• 第一次迭代后，$N(s_{root}) > 0$所以$U(s,a) \neq 0$由于反向传播步骤将更新根节点的访问计数，因此一切正常进行。所以这种可能的错误/不直观的行为只会影响第一次迭代。它非常轻微且微不足道，并且不会影响 MCTS 的结果，这可能是它被忽视的原因。