我无法理解如何跟踪扩展，我是否扩展了所有随机可能性并通过它们发生的机会来衡量回报？

这确实是您可以采取的一种选择。这在精神上与“Expectimax”作为非确定性游戏的极小极大变体的想法非常相似，因为您将在树中包含明确的“机会节点”。当稍后在稍后的 MCTS 迭代的选择阶段再次遇到这样的机会节点时，您可以根据“掷骰子”选择要遵循的树路径。重要的是，请注意，只有当您明确知道偶然事件发生的确切时间、它们可能导致的状态以及它们导致不同状态的概率时，此选项才实际可用。我们还假设这是可行的，即您没有可以达到的疯狂高（或无限）数量的稍微不同的游戏状态。

另一种选择是使用 MCTS 的“开环”变体。您的节点将不再代表游戏状态，而仅代表导致它们的动作序列。您将不再在任何节点中存储任何游戏状态，而是在遍历树时始终从头开始重新生成它们，从根节点开始。您将不再有任何明确的机会节点，而是具有代表较大状态集的状态，这些状态可能通过从根节点遵循相应路径来达到。有关这方面的更多信息，请参阅我对其他问题的回答. 这种方法的优点是它不需要显式了解由于偶然事件而可能达到的所有可能状态，不需要显式了解概率，并且可以仅采样而不是显式枚举每个可能的结果。