你是对的，AlphaGo Zero 没有在其 MCTS 中执行部署。不过，它确实完成了很多很多游戏。

意识到 AlphaGo Zero 在采取行动之前只迭代 MCTS 1,600 次。该动作产生的下一个状态成为未来搜索树的根。由于典型的围棋游戏仅持续几百步，棋盘将很快达到最终状态。

这些都不取决于神经网络的初始性能。神经网络可能非常糟糕。动作/动作仍将以相同的频率进行。当然，由于 AlphaGo Zero 训练自我对弈，因此它在游戏中的两个自我中的一个通常会成为赢家（有可能打成平手）。所以神经网络会随着时间的推移而改进。

我建议仔细阅读本文的“Self-Play Training Pipeline”部分。

抱歉，这更像是评论而不是答案。我想知道您是否找到了问题的明确答案，因为我有一个非常相关的问题。

我也对 AlphaZero 算法感到困惑——我对我的困惑的解释在这里指定：AlphaZero 如何结合使用它的价值和策略头？.

问题是我认为 AlphaZero 算法也不同于 Alphago Zero 算法。我尝试过的许多来源确实将两者混合在一起。

特别是官方伪代码里有这个功能，真的让我很困惑：

def run_mcts(config: AlphaZeroConfig, game: Game, network: Network):
  root = Node(0)
  evaluate(root, game, network)
  add_exploration_noise(config, root)

  for _ in range(config.num_simulations):
    node = root
    scratch_game = game.clone()
    search_path = [node]

    while node.expanded():
      action, node = select_child(config, node)
      scratch_game.apply(action)
      search_path.append(node)

    value = evaluate(node, scratch_game, network)
    backpropagate(search_path, value, scratch_game.to_play())
  return select_action(config, game, root), root


def select_action(config: AlphaZeroConfig, game: Game, root: Node):
  visit_counts = [(child.visit_count, action)
                  for action, child in root.children.iteritems()]
  if len(game.history) < config.num_sampling_moves:
    _, action = softmax_sample(visit_counts)
  else:
    _, action = max(visit_counts)
  return action

主要是因为，如果你看一下expanded...的定义

  def expanded(self):
    return len(self.children) > 0

即当没有更多动作时，我们处于游戏结束时。我想知道我在这里缺少什么。