人工智能 - 在策略梯度方程中，是π(一个吨|s吨, θ )π(at|st,θ)分布还是函数？ - 吾爱随笔录

在策略梯度方程中，是π(一个吨|s吨, θ )π(at|st,θ)分布还是函数？

人工智能数学深度学习政策梯度随机策略

2021-10-30 16:43:49

我正在从 Peter Abbeel 的 Deep RL Bootcamp 学习策略梯度方法，但我对所提供的数学有点困惑。在讲座中，他推导出一条轨迹的梯度对数似然为

\nabla l o g P (τ^{i}; θ) = Σ_{t = 0} \nabla_{θ} l o g π (a_{t} | s_{t}, θ) .

$\nabla log P(\tau^{i};\theta) = \Sigma_{t=0}\nabla_{\theta}log\pi(a_{t}|s_t, \theta).$

是 $\pi(a_{t} | s_{t}, \theta)$ 分布还是函数？因为只能对函数进行导数。我的理解是 $\pi(a_{t},s_{t}, \theta)$ 通常表示为动作在状态上的分布，因为用于策略梯度的神经网络的输入将是 $s_t$ 输出将是 $\pi(a_t, s_t)$ , 使用模型权重 $\theta$ .

1个回答

首先，通常对函数的变量（输入）进行导数。因此符号 $\frac{df}{dx}$ 对于某些功能 $f(x)$ .

如果你更仔细地看你的方程

\nabla l o g P (τ^{i}; θ) = Σ_{t = 0} \nabla_{θ} l o g π (a_{t} | s_{t}, θ) .

$\nabla log P(\tau^{i};\theta) = \Sigma_{t=0}\nabla_{\theta}log\pi(a_{t}|s_t, \theta).$

你会看到梯度是相对于 $\theta$ ，它们是您的神经网络的参数（即向量），即 $\nabla_{\theta}$ .

在这种情况下，是否真的无关紧要 $\pi$ 表示或不表示分布（对于某些特定值 $\theta$ )，但你是对的 $\pi$ 通常表示可能动作的概率分布（给定特定状态）。任何状况之下， $\pi$ 是参数的函数 $\theta$ （即在分布的情况下， $\pi_{\theta}$ 是所有可能值的分布族 $\theta$ )，即如果你改变 $\theta$ 的输出 $\pi$ 也会改变，所以你可以对它求导 $\theta$ .

其它你可能感兴趣的问题

上一篇什么是机器学习中的“代理数据集”？下一篇我应该对彩色帧/通道进行灰度化以建立状态的近似值吗？