人工智能 - 非平稳 k 臂老虎机问题中的加权平均值是多少？ - 吾爱随笔录

在 Richard S. Sutton 和 Andrew G. Barto 所著的Reinforcement Learning: An Introduction（第 25 页）一书中，讨论了 k 臂老虎机问题，其中老虎机的预期奖励会随着时间而略有变化（即，问题是非平稳的）。本书建议使用恒定的步长参数，而不是通过取所有奖励的平均值来更新 Q 值，以便对最近的奖励给予更大的权重。因此：

问_{n + 1} = 问_{n} + α (R_{n} - 问_{n}),

$Q_{n+1} = Q_n + \alpha (R_n - Q_n),$

在哪里 $\alpha$ 是一个介于 0 和 1 之间的常数。

然后该书指出这是一个加权平均值，因为权重之和等于 1。这是什么意思？为什么这是真的？