GLIE+MC控制算法：

我的问题是为什么这个算法只使用一个蒙特卡洛插曲（在 PE 步骤期间）来计算$Q(s,a)$? 据我了解，这有以下缺点：

• 如果我们有多个终端状态，那么我们只会达到一个（每个策略迭代步骤 PE+PI）。
• 我们极不可能访问所有状态（在训练期间），以及用于探索常数的流行调度算法$\epsilon = 1/k$在哪里$k$显然是集数，确保探索衰减非常非常迅速。这确保了我们在整个培训期间永远不会访问一个州。

那么为什么该算法使用单个 MC 情节，为什么不在单个策略迭代步骤中使用多个情节，以便代理更好地了解环境呢？