我正在阅读 Sutton 和 Barto 撰写的“强化学习：简介（第 2 版）”。在第 9 节，使用近似的 On-policy prediction 中，它首先给出了（9.1）中的均方值误差目标函数：

$\bar{VE}(\boldsymbol{w}) = \sum_{s \in S} \mu(s)[v_{\pi}(s) - \hat{v}(s,\boldsymbol{w})]^2$. (9.1)

$\boldsymbol{w}$是参数化函数的向量$\hat{v}(s,\boldsymbol{w})$近似值函数$v_{\pi}(s)$.$\mu(s)$是花费在$s$，它衡量了状态的“重要性”$s$在$\bar{VE}(\boldsymbol{w})$.

在（9.4）中，它声明了一个更新规则$\boldsymbol{w}$通过梯度下降： $\boldsymbol{w}_{t+1} = \boldsymbol{w} -\frac{1}{2}\alpha \nabla[v_{\pi}(S_t) - \hat{v}(S_t,\boldsymbol{w})]^2$. (9.4)

我有两个关于 (9.4) 的问题。

1. 为什么$\mu(s)$不在 (9.4) 中？
2. 为什么它是（9.4）中的“减号”而不是“+”？换句话说，为什么$\boldsymbol{w} -\frac{1}{2}\alpha \nabla[v_{\pi}(S_t) - \hat{v}(S_t,\boldsymbol{w})]^2$代替$\boldsymbol{w} +\frac{1}{2}\alpha \nabla[v_{\pi}(S_t) - \hat{v}(S_t,\boldsymbol{w})]^2$?