这里的转折是$a_{t+1}$在 (11) 和$\mu(s_{t+1})$在 (16) 中是相同的，实际上$a_t$在 on-policy 的情况下和$a_t$在off-policy的情况下是不同的。

理解的关键在于，在策略算法中，您必须使用策略在更新步骤中生成的动作（以及一般来说的轨迹）（以改进策略本身）。这意味着在 on-policy 情况下$a_i = \mu(s_{i})$（在等式 11-13 中）。

而在非策略情况下，您可以使用任何轨迹来改进您的价值/行动价值函数，这意味着行动$a_t$可以由任何分布生成$a_t~\pi(s_t,a_t)$. 然而，在 (16) 中，算法明确指出动作值函数 ($Q^w$) 必须在$\mu_{s_{t+1}}$（就像在 on-policy 案例中一样）而不是在$a_t$这是政策产生的轨迹中的实际行动$\pi$.

on-policy 和 off-policy 的主要区别在于如何获取样本以及我们优化什么策略。

在 off-policy 确定性 actor-critic 中，轨迹是来自 beta 分布的样本（也称为行为策略），而不是我们优化的策略（即$\mu_{\theta}$）。然而，在 on-policy actor-critic 中，行动$a_{t+1}$从目标策略中采样$\mu_{\theta}$我们优化的策略也是$\mu_{\theta}$.