在马尔可夫决策过程 (MDP)模型中，我们定义了一组状态 ($S$），一组动作（$A$), 奖励 ($R$)，以及转移概率$P(s' \mid s, a)$. 目标是找出在每个州采取的最佳行动，即政策$\pi$.

政策

为了计算策略，我们使用贝尔曼方程：

$$V_{i+1}(s)=R(s)+\gamma \max _{a \in A}\left(\sum_{s^{\prime} \in S} P\left(s^{\prime} \mid s, a\right) V_{i}\left(s^{\prime}\right)\right)$$

当开始计算值时，我们可以简单地开始：

$$V_{1}(s)=R(s)$$

为了提高这个值，我们应该考虑系统可以采取的下一个动作，并将产生新的奖励：

$$V_{2}(s)=R(s)+\gamma \max _{a \in A}\left(\sum_{s^{\prime} \in S} P\left(s^{\prime} \mid s, a\right) V_{1}\left(s^{\prime}\right)\right)$$

在这里你考虑到当前状态的奖励$s$：$R(s)$，以及可能的未来奖励的加权总和。我们用$P(s' \mid s, a)$给出到达状态的概率$s'$从$s$用行动$a$.$\gamma$是一个介于$0$和$1$并且被称为折扣因子，因为它降低了未来奖励的重要性，因为这些是不确定的。一个经常使用的值是$\gamma = 0.95$.

当使用值迭代时，这个过程一直持续到值函数已经收敛，这意味着在进行新的迭代时值函数不会发生显着变化：

$$\left\|V_{i+1}(s)-V_{i}(s)\right\|<\epsilon, \; \forall_{s \in S},$$

在哪里$\epsilon$是一个非常小的值。

未来奖励的折扣总和

如果您查看贝尔曼方程并迭代地执行它，您将看到：

$${\scriptstyle V(s)=R(s) + \gamma \max _{a \in A}\left(\sum_{a \in A} P\left(s^{\prime} \mid s, a\right)\left[R\left(s^{\prime}\right) + \gamma \max _{a \in A}\left(\sum_{s^{\prime \prime} \in S} P\left(s^{\prime \prime} \mid s^{\prime}, a\right)\left(R\left(s^{\prime \prime}\right) + \gamma \max _{a \in A}\left(\sum_{s^{\prime \prime \prime} \in S} P\left(s^{\prime \prime \prime} \mid s^{\prime \prime}, a\right) V\left(s^{\prime \prime \prime}\right)\right)\right]\right)\right.\right. }$$

这就像（没有转换功能）：

$$R(s)+\gamma R\left(s^{\prime}\right)+\gamma^{2} R\left(s^{\prime \prime}\right)+\gamma^{3} R\left(s^{\prime \prime \prime}\right)+\ldots$$

总结

因此，当我们从状态s开始时，我们希望采取能够给予我们最佳总奖励的行动，不仅要考虑当前或下一个状态，还要考虑所有可能的下一个状态，直到我们达到目标。这些是您所指的时间步长，即采取的每项操作都在一个时间步长中完成。当我们学习策略时，我们会尝试考虑尽可能多的时间步骤来选择最佳操作。

---

如果你在互联网上搜索，你可以找到相当多的例子，例如，在CMU、UC Berkeley或UW的幻灯片中。

在强化学习设置中，代理以（离散）时间步长与环境交互，在代理采取行动、接收奖励并且“系统”（环境和代理）移动到新状态后递增。

更准确地说，在时间步$t=0$（第一个时间步），环境（包括代理）处于某种状态$s_t = s_0$, 采取行动$a_t = a_0$并接受和奖励$r_t = r_0$并且环境（包括代理）移动到下一个状态$s_{t+1} = s_{0 + 1} = s_1$，这也将是环境在下一个时间步所处的状态，$t+1$，因此记号$s_{t+1}$. 这里，下标$_t$指与那些“实体”（状态、动作和奖励）相关的时间步长。所以，经过一个时间步骤（或之后$t=0$)，代理将处于状态$s_{t+1}$新的时间步长将是$t + 1 = 0 + 1 = 1$. 所以，我们现在处于时间步长$t=1$（因为我们刚刚增加了时间步长）并且代理处于状态$s_{t} = s_1$. 然后重复前面描述的交互：代理采取行动$a_{t} = a_1$, 获得奖励$r_t = r_1$环境转移到状态$s_{t+1} = s_{1+1} = s_{2}$， 等等。

在您的总结中，我们只是使用表示的值对奖励进行折扣$\gamma$（通常介于$0$和$1$)，这通常被称为“折扣因子”。该总和表示代理从时间步开始（在这种情况下）将收到的奖励的总和$t=1$. 我们也可以$r_1 + r_2 + r_3 + \dots$，但是，出于技术或数学的原因，我们经常“打折”奖励，也就是说，我们将它们乘以$\gamma$（提高到与将收到奖励的时间步相关的幂）。

在上面的描述中，我说过，在某个时间步$t$，代理采取行动$a_t$并获得奖励$r_t$. 但是，通常情况下，在时间步采取行动后获得的奖励$t$表示为$r_{t+1}$. 我认为这有点令人困惑，但在概念上并没有“错误”，因为人们可能会认为在时间步执行动作的奖励$t$仅在下一个时间步收到。（你应该习惯稍微不同的符号和术语。刚开始的时候，不容易理解，如果符号在不同来源之间不精确和一致，但你会习惯它，你对这个主题了解得越多，就像你习惯一种新语言一样）。