人工智能 - 为什么贝尔曼方程可以变成更新规则？ - 吾爱随笔录

人工智能强化学习执行收敛贝尔曼方程政策评估

2021-11-07 09:33:18

在萨顿书的第 4.1 章中，贝尔曼方程通过简单地改变它的索引就变成了一个更新规则。它在数学上是如何证明的？我不太明白为什么我们被允许这样做？

v_{π} (s) = E_{π} [G_{t} | S_{t} = s]

$v_{\pi}(s) = \mathbb E_{\pi}[G_t|S_t=s]$

= E_{π} [R_{t + 1} + γ G_{t + 1} | S_{t} = s]

$= \mathbb E_{\pi}[R_{t+1} + \gamma G_{t+1}|S_t=s]$

= E_{π} [R_{t + 1} + γ v_{π} (S_{t + 1}) | S_{t} = s]

$= \mathbb E_{\pi}[R_{t+1} + \gamma v_{\pi}(S_{t+1})|S_t=s]$

= \sum_{a} π (a | s) \sum_{s^{'}, r} p (s^{'}, r | s, a) [r + γ v_{π} (s^{'})]

$= \sum_a \pi(a|s)\sum_{s',r} p(s',r|s,a)[r+ \gamma v_{\pi}(s')]$

它从中进入更新方程：

v_{k + 1} (s) = E_{π} [R_{t + 1} + γ v_{k} (S_{t + 1}) | S_{t} = s]

$v_{k+1}(s) = \mathbb E_{\pi}[R_{t+1} + \gamma v_{k}(S_{t+1})|S_t=s]$

= \sum_{a} π (a | s) \sum_{s^{'}, r} p (s^{'}, r | s, a) [r + γ v_{k} (s^{'})]

$=\sum_a \pi(a|s)\sum_{s',r} p(s',r|s,a)[r+ \gamma v_{k}(s')]$

3个回答

为什么我们可以将贝尔曼方程转换为更新规则？

原因很简单：收敛。同一本书的第 4 章提到了它。例如，在策略评估的情况下，产生的估计序列 $\{v_k\}$ 保证收敛到 $v_\pi$ 作为 $k$ （即迭代次数）趋于无穷大。还有其他 RL 算法也可以保证收敛（例如表格 Q 学习）。

总而言之，在许多情况下，简单强化学习（或动态规划）算法的更新规则与它们的数学形式化非常相似，因为基于这些更新规则的算法通常可以保证收敛。但是，请注意，许多更高级的强化学习算法（尤其是那些使用函数逼近器的算法，例如神经网络，来表示价值函数或策略）并不能保证或已知会收敛。

对我来说，贝尔曼更新只是监督学习：右手边（引导程序）是左手边的样本（条件期望）。贝尔曼方程简单地解释了右手边就是这样的样本。

您在问为什么有限范围的政策评估会收敛到无限的权利？

由于总奖励是有界的（由折扣因子），您知道您可以使您的有限范围策略评估在有限数量的步骤中任意接近它。

人们称赞巴托斯的书，但我觉得读起来很烦人，因为他的数学不够正式。

其它你可能感兴趣的问题