我不确定它是否是标准符号，但 Sutton & Barto 使用了一个约定，即随机变量的函数是一个新的随机变量，它使用该函数将旧变量的值映射到新变量的值，并且不影响概率分布（除了函数可能是单向的，因此概率可以有效地结合，例如，如果有几个状态$v_*(s) = 5$）。

鉴于此约定$v_*(S_{t+1})$是可能状态在时间步的最优状态值函数的随机变量$t+1$. 也就是说，它具有相同的概率密度，基于策略和状态转换规则，如$S_{t+1}$，但具有相关的值$v_*(s)$对于每一个可能$S_{t+1}$.

实际分布情况$v_{*}(S_{t+1})$将根据评估它的上下文中的条件而有所不同。

如果你解决第一个方程中的期望，它的条件是$S_t$和$A_t$：

$q_{*}(s,a)=\mathbb{E}[R_{t+1}+\gamma v_{*}(S_{t+1})|S_{t}=s, A_{t}=a]$

$\qquad\quad= \sum_{r,s'} p(r,s'|s,a)(r + \gamma v_*(s'))$

. . . 表达行动价值$q_*(s,a)$在状态转移规则、即时奖励函数和状态值方面$v_*(s')$领先半步。也就是说，在下一个状态，但在采取下一个（最佳选择）动作之前。