你的直觉是对的。每场比赛后都会长出这棵树。

在第一次播放之前，每个决策点的值都被初始化（随机或某个常数）。然后在一次播放结束时，使用蒙特卡罗方法更新决策点的权重。这样，在下一场比赛中，更新后的权重帮助代理在下一场比赛中做出决定。

至于如何将决策点添加到树中，这取决于应用程序。对于像井字游戏这样的简单游戏，我们知道所有的决策点。对于大型游戏，有一些方法可以修剪表现不佳的分支树。