你是对的，当目标策略$\pi$是确定性的，重要性采样率将是$\geq 1$沿着行为策略所在的轨迹$b$碰巧采取了同样的行动$\pi$会采取，并转向$0$立刻$b$犯了一个“错误”（选择一个动作$\pi$不会选择）。

在书中介绍重要性抽样之前，我相信你会看到的唯一离策略方法是一步$Q$-学习，它只能将观察结果传播回来正好一步。使用重要性采样率，您通常可以做得更好。你是对的，它有转向的风险$0$相当快（尤其是当$\pi$和$b$彼此非常不同），此时它基本上会“截断”您的轨迹并忽略所有后续经验……但这仍然比一步好，比率有可能保持不变$1$至少几步。它偶尔仍然只允许$1$-step 返回，但有时也会返回$2$-step 返回，有时$3$-step return 等，这通常比只有$1$步返回。

每当重要性采样率不$0$，它还可以更加强调由在以下情况下常见的轨迹产生的观察结果$\pi$，但不常见于$b$. 这样的轨迹将有一个比率$> 1$. 更多地强调这些轨迹可能是有益的，因为它们不会经常在$b$，因此如果没有额外的强调，可能很难正确了解在以下情况下会发生什么$\pi$.

当然，还值得注意的是，您的引文说（强调我的）：

目标政策$\pi$[...]可能是确定性的 [...]

它说$\pi$ 可能是确定性的（实际上它经常是，因为我们经常采取$\pi$成为贪婪的政策）......但有时它不会。对于我们选择的情况，使用重要性采样率的整个方法也得到了很好的定义$\pi$ 不是确定性的。在这种情况下，我们通常能够在更长的轨迹上传播观察结果（尽管在$b$选择极不可能的动作$b$, 但很有可能根据$\pi$）。

好问题。我认为这本书的这一部分没有得到很好的解释。

政策外评估$V$本身没有意义，IMO。

我认为这里有两种情况

1. 是如果$\pi$是确定性的，就像我们在“控制”的情况下可能想要的那样，即我们将确定$\pi$是确定性的，并在每个状态下选择最有可能最大化奖励/回报的行动。在这种情况下，然后评估$V$来自不同的发行版可能没有那么有用，因为$W$变成$0$可能性很大。我看不出有任何意义。

2. 如果$\pi$不是确定性的。这是一个很好的问题，为什么我们要评估$V_\pi$从$V_b$, 而不是仅仅从$V_\pi$直接地。

所以，IMO，离政策评估$V_\pi$没有任何意义。

但是，我认为这里的目标实际上是书中给出的控制算法（使用$q(s,a)$，页。书的 111 [pdf 的 133]）。这里的想法是使用一些任意行为/探索性策略，并在运行时更新（“控制”）策略$\pi$. 在那里，您使用更新规则$W$，它使用了重要性采样的思想——即如何更新期望值$\pi$基于$b$. 但它实际上是有道理的。

所以，我怀疑评估是自己给出的，只是为了让读者更好地理解如何进行评估，尽管在控制算法之外它真的没有意义。