数据挖掘 - 政策梯度中的时间范围 T (actor-critic) - 吾爱随笔录

我目前正在阅读关于强化学习的伯克利讲座。具体来说，我在本讲座的幻灯片 5。

在该幻灯片的底部，预期奖励总和函数的梯度由下式给出

\nabla Ĵ (θ) = \frac{1}{ñ} \sum_{一世 = 1}^{ñ} \sum_{吨 = 1}^{吨} \nabla_{θ} 日志 π_{θ} ({一种}_{一世, 吨} | s_{一世, 吨}) (问 (s_{一世, 吨}, {一种}_{一世, 吨}) - 五 (s_{一世, 吨}))

$\nabla J(\theta) = \frac{1}{N} \sum_{i=1}^N \sum_{t=1}^T \nabla_\theta \log{\pi_\theta(a_{i,t} \vert s_{i,t}) (Q(s_{i,t},a_{i,t}) - V(s_{i,t}))}$ q值函数定义为

问 (s_{吨}, {一种}_{吨}) = \sum_{吨^{'} = 吨}^{吨} 乙_{π_{θ}} [r (s_{吨^{'}}, {一种}_{吨^{'}}) | s_{吨}, {一种}_{吨}]

$Q(s_t,a_t) = \sum_{t'=t}^T \mathbb{E}_{\pi_\theta}[r(s_{t'},a_{t'})\vert s_t,a_t]$ 乍一看，这是有道理的，因为我比较了采取所选行动的价值

a_{i, t}

$a_{i,t}$ 到时间步的平均值

t

$t$ 并且可以评估我的行为有多好。

我的问题是：一个特定的状态 $s_{spec}$ 可以发生在任何时间步长，例如， $s_1 = s_{spec} = s_{10}$ . 但是是否根据我是否击中而存在价值差异 $s_{spec}$ 在时间步 1 或 10 时 $T$ 是固定的吗？这是否意味着对于每个可能的状态都有不同的 q 值 $t \in \{0,\ldots,T\}$ ? 我不知何故怀疑是这种情况，但我不太明白时间范围 $T$ 适合。

或者是 $T$ 不固定（也许它被定义为轨迹结束于终端状态的时间步长 - 但这意味着在轨迹采样期间，每个模拟将采用不同数量的时间步长）？