它非常简单地来自 V 和 Q 的定义。

这些是相关的定义：

$$G_t \space \dot{=} \space \sum_{k=0}^{\infty} \gamma^k R_{t+k+1}$$

$$V^{\pi}(s) \space \dot{=} \space \mathbb{E}_{A \sim \pi}[G_t|S_t=s]$$

$$Q^{\pi}(s, a) \space \dot{=} \space \mathbb{E}_{A \sim \pi}[G_t|S_t=s, A_t=a]$$

您可以忽略 return 的定义，$G_t$，为了完整起见，我将其包括在内，并简化了其他定义。

V 和 Q 的定义之间的唯一区别是添加了$a$在条件。如果您删除 Q 定义中的操作选择，并将其改为遵循策略，您将返回 V 的定义。

您还可以使用策略函数扩展 V 定义中的期望以显示相同的内容：

$$V^{\pi}(s) = \mathbb{E}_{A \sim \pi}[G_t|S_t=s]$$

$$V^{\pi}(s) = \sum_{a}\pi(a|s) \mathbb{E}_{A \sim \pi}[G_t|S_t=s, A_t=a]$$

$$V^{\pi}(s) = \sum_{a}\pi(a|s) Q^{\pi}(s,a)$$

将其转换回对策略的期望：

$$V^{\pi}(s) = \mathbb{E}_{A \sim \pi}[Q^{\pi}(S_t,A_t)|S_t=s]$$