我正在寻找一个结果，该结果显示半梯度 TD(0) 算法与用于策略预测的非线性函数逼近的收敛性。具体来说，更新方程由（借用 Sutton 和 Barto (2018) 的符号）给出

$$\mathbf w \leftarrow \mathbf w +\alpha [R + \gamma \hat v(S', \mathbf w) - \hat v(S, \mathbf w)] \nabla \hat v(S, \mathbf w)$$

在哪里$\hat v(S, \mathbf w)$是参数化的近似值函数$\mathbf w$.

Sutton 和 Barto (2018) 提到上述更新方程在$\hat v$是线性的$\mathbf w$. 但我找不到非线性函数逼近的类似结果。任何帮助将不胜感激。