数据挖掘 - 强化学习——价值函数的公式是什么 - 吾爱随笔录

数据挖掘强化学习

2022-02-20 04:39:17

我正在尝试实现一个值迭代算法来解决网格世界问题（我是该领域的新手）。我遇到的关于价值函数 V(s) 的常用公式是：

V (s) = R (s) + m a x_{a \in A} \sum_{s^{'} \in S} T (s, a, s^{'}) V (s^{'})

$V(s) = R(s) + max_{a \in A} \sum_{s' \in S} T(s, a, s') V(s')$ 在哪里

S

$S$ 是状态集，

A

$A$ 一组动作，

T

$T$ 过渡模型

T (s, a, s^{'}) = P (s_{t + 1} = s^{'} | s_{t} = s, a_{t} = a)

$T(s, a, s') = P(s_{t+1} = s' | s_t = s, a_t = a)$ 和

R

$R$ 奖励函数。

由于我正在研究基于模型的问题， $T$ 和 $R$ 应该知道；问题是我不知道如何定义（或计算知道问题的细节） $R$ . 如果我在一个状态 $s$ 并采取行动 $a$ 这将使代理到达网格世界的边界，即新状态 $s'$ 将会 $s$ ，并且问题定义的奖励是-5。

另一方面，如果我到达了州 $s$ 通过另一个状态，奖励将是-1。所以基本上， $R(s)$ 取决于先前的状态和先前的动作。我如何在 $V(s)$ 公式？

1个回答

您引用的公式有点笨拙，正是因为定义的 R 函数需要“展望”所有可能的结果及其概率，但没有明确包括如何做到这一点。

实际上，贝尔曼方程有一些变体表达了或多或少的细节。Sutton & Barto (2nd Edition) 是一个真正通用版本的好起点：

v^{*} (s) = {最大限度}_{一种 \in 一种} [\sum_{r, s^{'}} p (r, s^{'} | s, 一种) (r + v^{*} (s^{'})]

$v^*(s) = \text{max}_{a \in \mathcal{A}}[\sum_{r,s'}p(r,s'|s,a)(r + v^*(s')]$

在哪里 $\sum_{r,s'}$ 是所有可能的奖励和下一个状态对。

上面的等式将只处理下一个状态的转换函数更改为处理后继状态和奖励的类似函数：

p (r, s^{'} | s, 一种) = 磷 r {R_{吨 + 1} = r, {小号}_{吨 + 1} = s^{'} | {小号}_{吨} = s, {一种}_{吨} = 一种}

$p(r,s'|s,a) = Pr\{ R_{t+1} = r, S_{t+1} = s' | S_{t} = s, A_{t} = a \}$

通常这不会增加总和的项目数量，也不会增加太多复杂性，因为奖励通常与转换相关联。

好处是这种方法消除了对与预期奖励一起使用的奖励函数的需要，并且只与特定奖励一起使用。其他变体也是可能的，例如基于 $(s,a)$ 或者 $(s,a,s')$ - 差异只是表达式的一点点杂耍，因此考虑到定义的细微差异，它实际上保持不变 $r$ .

其它你可能感兴趣的问题