人工智能 - 这个 TD(0) 离策略值更新公式是如何工作的？ - 吾爱随笔录

这个 TD(0) 离策略值更新公式是如何工作的？

人工智能强化学习时差法策略外方法重要性抽样

2021-11-09 05:48:16

TD(0) off-policy 学习算法的更新公式是（取自D. Silver 课程第 5 讲的这些幻灯片）

\underset{New value}{\underset{⏟}{V (S_{t})}} \leftarrow \underset{Old value}{\underset{⏟}{V (S_{t})}} + α (\frac{π (A_{t} | S_{t})}{μ (A_{t} | S_{t})} (\underset{TD target}{\underset{⏟}{R_{t + 1} + γ V (S_{t + 1}))}} - \underset{Old value}{\underset{⏟}{V (S_{t})}})

$\underbrace{V(S_t)}_{\text{New value}} \leftarrow \underbrace{V(S_t)}_{\text{Old value}} + \alpha \left( \frac{ \pi(A_t|S_t)}{\mu (A_t|S_t)} (\underbrace{R_{t+1} + \gamma V(S_{t+1}))}_{\text{TD target}} - \underbrace{V(S_t)}_{\text{Old value}} \right)$

在哪里 $\frac{ \pi(A_t|S_t)}{\mu (A_t|S_t)}$ 是政策的可能性的比率 $\pi$ 将在此状态下采取此操作除以行为策略的可能性 $\mu$ 在此状态下执行此操作。

我不明白的是：

假设行为策略 $\mu$ 采取了根据政策不太可能发生的行动 $\pi$ . 我会假设这个词走向 $0$ .

\frac{π (A_{t} | S_{t})}{μ (A_{t} | S_{t})} = 0

$\frac{ \pi(A_t|S_t)}{\mu (A_t|S_t)} = 0$

但是，如果这个词去 $0$ ，整个等式将变为以下

V (S_{t}) \leftarrow V (S_{t}) - α V (S_{t})

$V(S_t) \leftarrow V(S_t) - \alpha V(S_t)$

这意味着我们会降低这个状态的值。

但这对我来说没有任何意义，如果这两个政策非常不同，我们几乎没有获得任何信息。因此，我会假设该值将保持不变而不是减少。

我在这里有什么误解？

1个回答

这意味着我们会降低这个状态的值。

是的。这种减少估计的更新是正确的，因为当探索策略选择在目标策略中比在行为策略中更有可能的动作时，它会针对不可避免的价值高估进行调整。如果您的智能体经历了一些似然比接近的动作，则必须发生这种高估 $0$ ，它还必须经历一些似然比大于的动作 $1$ . 这是因为 $\mathbb{E}_{\mu}[\frac{\pi(a|s)}{\mu(a|s)}] = 1$ *，假设行为策略覆盖目标策略（行为策略对于目标策略具有非零概率的所有动作具有非零概率）。

那些似然比大于 $1$ 由于被取消政策，实际上并没有比以前更好，因此它们在更新中使用的价值将被高估。

只有在大量样本的限制下，调整后的价值函数才会收敛于对目标策略的价值函数的良好估计。

由于这种影响，基本重要性抽样可能会出现方差增加的问题。事实上，在某些情况下，方差可以显示为无界/无限。我不确定在 TD 学习中是否是这种情况，但在蒙特卡洛的重要性采样中肯定是这种情况。TD(0) 确实受益于自举减少的方差，因此它可能没有无限方差。尽管如此，它仍然比 on-policy TD(0) 具有更高的方差。

对于任何固定状态， $s$ ,

E_{μ} [\frac{π (a | s)}{μ (a | s)}] = \sum_{a} μ (a | s) \frac{π (a | s)}{μ (a | s)} = \sum_{a} π (a | s) = 1

$\mathbb{E}_{\mu}[\frac{\pi(a|s)}{\mu(a|s)}] = \sum_a \mu(a|s) \frac{\pi(a|s)}{\mu(a|s)} = \sum_a \pi(a|s) = 1$

其它你可能感兴趣的问题

上一篇AI 是否可以用于对代码复制练习进行评分并根据这些分数调整难度？下一篇处理非全卷积深度学习网络的信箱图像的最佳实践？