价值函数定义为$v_\pi(s) = \mathbb{E}_\pi[G_t | S_t = s]$在哪里$G_t$是时间步的（折扣）回报$t$. 对政策的期望$\pi$以及 MDP 的过渡动态。

现在，正如您所指出的，最佳价值函数定义为$v_*(s) = \max_\pi v_\pi(s)\; ; \;\forall s \in \mathcal{S}$. 我们在这里所做的只是选择一项政策$\pi$最大化价值函数；这可以是确定性或随机策略，尽管直觉上它可能是确定性的，除非对于某些具有相同期望值的两个（或多个）动作的状态，在这种情况下，您可以以相等的概率采取任何上述动作，从而使政策随机化。

对于有限的 MDP（这也是我上面假设的），我们知道存在最优值函数（这在书中提到），所以在这里取最大值就可以了。