在 RL 的上下文中，对于要参数化的策略，它通常意味着我们显式地对策略进行建模，并且在策略梯度方法中很常见。

考虑基于价值的方法，例如 Q-learning，我们的策略通常类似于$\epsilon$-贪婪，我们使用以下策略选择我们的行动

$$\begin{align} \pi(a|s) = \left\{ \begin{array}{ll} \arg \max_a Q(s,a) & \text{with probability } 1-\epsilon\;; \\ \text{random action} & \text{with probability } \epsilon\;. \end{array}\right. \end{align}$$ 在这里，我们将策略参数化为$\epsilon$但是学习是通过学习 Q 函数来完成的。当我们参数化策略时，我们将显式建模$\pi$通过以下公式： 现在通过学习参数来完成学习，该参数通过执行形式 \ boldsymbol $$\pi(s|a,\boldsymbol{\theta}) = \mathbb{P}(A_t = a | S_t=s, \boldsymbol{\theta}_t = \boldsymbol{\theta})\;.$$ $\boldsymbol{\theta}$$J(\boldsymbol{\theta})$ $$\boldsymbol{\theta}_{t+1} = \boldsymbol{\theta}_t + \alpha \hat{\Delta J(\boldsymbol{\theta}_t)}.$$

请注意，根据 Sutton 和 Barto 教科书，是 \Delta J(\boldsymbol{\theta}_t) 的噪声随机估计，前者近似后者在期待中。$\hat{\Delta J(\boldsymbol{\theta}_t)}$$\Delta J(\boldsymbol{\theta}_t)$

该策略可以以任何方式参数化，只要它相对于参数是可微的。通常在 Deep RL 中，策略被参数化为神经网络，因此将是网络的权重。$\boldsymbol{\theta}$