身份

$$\nabla_{\theta} P(\tau \mid \theta) = P(\tau \mid \theta) \nabla_{\theta} \log P(\tau \mid \theta)\tag{1}\label{1},$$

也可以写成

$$\begin{align} \nabla_{\theta} \log P(\tau \mid \theta) &= \frac{\nabla_{\theta} P(\tau \mid \theta)}{P(\tau \mid \theta)}\\ &=\frac{1}{P(\tau \mid \theta)} \nabla_{\theta} P(\tau \mid \theta) \end{align}$$

直接从一般规则导出函数的对数和链式法则

$$\begin{align} \frac{d \log f(x)}{d x} &= \frac{1}{f(x)} \frac{d f}{dx}. \end{align}$$ 注意$\log f(x)$是一个复合函数，这就是为什么我们应用链式法则和导数$\log x = \frac{1}{x}$，正如你的文字所说。

人们不应该把这称为诡计。这里没有诀窍。这只是基本的微积分。

为什么需要身份$\ref{1}$? 因为那个恒等式告诉你给定参数的轨迹概率的导数$\theta$关于$\theta$是$P(\tau \mid \theta)$乘以相同概率的对数梯度。这有什么用？因为对数会将你的乘积变成一个和（而一个和的导数是和的元素的导数之和），本质上，恒等式$\ref{1}$将帮助您计算梯度是一种更简单的方法（至少在概念上）。