但是在策略迭代中，我们还必须输出与每个动作相关的 softmax 向量

严格来说，这不是真的。softmax 向量是表示策略的一种可能方式，适用于离散动作空间。策略梯度和价值函数方法之间的区别在于你如何使用输出。对于价值函数，您会找到最大输出，然后选择它（也许$\epsilon$-贪婪地），它应该是对采取该行动的价值的估计。对于策略函数，您将使用输出作为选择每个动作的概率，并且您不知道采取该动作的价值。

所以我不明白这如何用于连续动作空间？

使用策略梯度方法，策略可以是参数的任何函数$\theta$ 哪个：

• 输出概率分布

• 可以区分为 $\theta$

因此，例如，您的策略功能可以是

在哪里$\mu$和$\sigma$可以是您使用例如神经网络实现的功能。网络的输出是对动作值正态分布的描述$a$给定一个状态值$s$. 该策略要求您从这些值定义的正态分布中进行采样（NN 不会进行该采样，您通常必须在代码中添加它）。

为什么在连续动作域中策略梯度方法优于价值函数逼近？

虽然仍然可以在连续动作空间中估计状态/动作对的值，但这并不能帮助您选择动作。考虑如何实施$\epsilon$- 使用动作值近似的贪婪策略：它需要对每个动作选择的动作空间进行优化，以便找到估计的最优动作。这是可能的，但可能非常缓慢/效率低下（也存在找到局部最大值的风险）。

直接使用发出概率分布的策略可以避免这个问题，前提是这些分布易于采样。因此，您经常会看到诸如控制正态分布参数的策略之类的东西，因为众所周知如何轻松地从这些分布中采样。

在价值函数方法（或批评方法）中，我们通常在估计相关价值函数后选择以下选项之一来选择我们的动作：

• 具有（逆）温度参数的玻尔兹曼函数控制我们“听”多少值函数的最大值来选择我们的动作。
• $\epsilon$-greedy：以概率（1-$\epsilon$) 和一个有概率的随机 $\epsilon$.

在策略梯度（或 Actor 方法）中，我们有两种方法：

1. 随机策略梯度 (SPG)：输出是动作的概率。对于您的算法，输出将是 Neil 描述的预先指定分布（通常是高斯分布）的参数。然后以与采样 Boltzman 分布类似的方式对该分布进行采样。
2. 确定性策略梯度 (DPG)：输出是动作的值（例如速度、高度等）。

从上面你可以清楚地看到，当涉及到连续动作空间时，PG 提供了更合理的解决方案。

有关更多信息，我建议您阅读硕士论文PG 方法： Riashat 的 SGD-DPG。他与 Silver 的 DPG 论文的合著者之一密切合作，论文结构非常好，可用 MATLAB 代码。由于涉及数学（并且多次使用不同的符号），策略梯度方法更难理解。不过，我建议您从Jan Peters开始，然后再回到 Silver 的幻灯片（我的意见 :)）。