对于模型，仅状态值就足以确定策略；就像我们在 DP 章节中所做的那样，只需向前看一步并选择导致奖励和下一个状态的最佳组合的任何动作。

一旦我想到具有随机环境动态的连续状态和动作空间，计算$\text{argmax}$似乎变得非常复杂和不切实际。

对于随机动力学，计算会更复杂，但通常很容易处理。它取决于分布的大小，以及计算正确加权和的概率的难易程度。代替$|\mathcal{A}(s)|$呼吁$Q(s,*)$你需要大致制作$|\mathcal{S'}(s)| \times |\mathcal{A}(s)|$呼吁$V(s')$在哪里$\mathcal{S'}(s) \in \mathcal{S}$是从起始状态可能产生的所有可能状态。在最坏的情况下，这是$|\mathcal{S}| \times |\mathcal{A}|$

尽管这里有额外的工作，但您之前的效率更高。通过仅评估$V(s)$，您已删除操作维度，否则会拆分您的估计。因此，在其他条件相同的情况下，您的价值函数估计会更快收敛。所以这有时是你可能愿意做出的妥协。

对于连续状态，如果动作选择和可能的转换仍然是离散的，这可能仍然是可行的。

一旦动作空间是连续的，或者转换在某个概率密度函数上是连续的，那么通过模型找到最大化动作就变得不切实际了。