人工智能 - 具有平均奖励的 TD(0) 方程背后的直觉是什么，它是如何推导出来的？ - 吾爱随笔录

具有平均奖励的 TD(0) 方程背后的直觉是什么，它是如何推导出来的？

人工智能强化学习演员批评方法时差法

2021-11-10 10:15:17

在 Sutton 和 Barto 的书（第 2 版）的第 10 章中，给出了 TD(0) 误差与平均奖励的方程（方程 10.10）：

δ_{t} = R_{t + 1} - \bar{R} + \hat{v} (S_{t + 1}, w) - \hat{v} (S_{t}, w)

$\delta_t = R_{t+1} - \bar{R} + \hat{v}(S_{t+1}, \mathbf{w}) - \hat{v}(S_{t}, \mathbf{w})$

这个等式背后的直觉是什么？它究竟是如何得出的？

此外，在第 13 章第 6 节中，给出了使用 TD 误差的 Actor-Critic 算法。你如何使用 1 个错误来更新 3 个不同的东西——比如平均奖励、价值函数估计器（批评者）和策略函数估计器（参与者）？

平均奖励更新规则： $\bar{R} \leftarrow \bar{R} + \alpha^{\bar{R}}\delta$

批评权重更新规则： $\mathbf{w} \leftarrow \mathbf{w} + \alpha^{\mathbf{w}}\delta\nabla \hat{v}(s,\mathbf{w})$

演员体重更新规则： $\mathbf{\theta} \leftarrow \mathbf{\theta} + \alpha^{\mathbf{\theta}}\delta\nabla ln \pi(A|S,\mathbf{\theta})$

1个回答

这只是来自平均奖励设置中回报的定义（看方程 $10.9$ ）。“标准” TD 误差定义为

T D_{error} = R_{t + 1} + V (S_{t + 1}) - V (S_{t})

$\begin{equation} TD_{\text{error}} = R_{t+1} + V(S_{t+1}) - V(S_t) \end{equation}$ 在平均奖励设置中，平均奖励

r (π)

$r(\pi)$ 从奖励中减去

t

$t$ ,

R_{t}

$R_t$ , 所以这种情况下的 TD 误差是

T D_{error} = R_{t + 1} - {\bar{R}}_{t + 1} + V (S_{t + 1}) - V (S_{t})

$\begin{equation} TD_{\text{error}} = R_{t+1} - \bar R_{t+1} + V(S_{t+1}) - V(S_t) \end{equation}$ 在哪里

{\bar{R}}_{t + 1}

$\bar R_{t+1}$ 是估计

r (π)

$r(\pi)$ .

您可以使用 $\delta_t$ 在所有 3 个更新中，因为这些更新都不相互依赖。例如，如果您更新 $\mathbf w$ 你不使用它然后更新 $\mathbf \theta$ ，或者如果您更新 $\bar R$ 你不使用更新的版本来更新 $\mathbf w$ 或者 $\mathbf \theta$ 所以你不会引入额外的偏见。在每个单独的更新中，您也没有 $\delta_t$ 多次呈现，因此您需要每个时间步进行多次采样才能获得无偏更新。

此外，这是半梯度算法，它使用自举估计 $V_{t+1}$ 但它也不会计算关于它的全导数，仅关于 $V_t$ 因此该算法在默认情况下是有偏差的，但在实践中对于线性情况来说效果很好。

其它你可能感兴趣的问题

上一篇为什么传统的机器学习模型仍然在深度神经网络上使用？下一篇不平衡数据集的相反类型的预测