您将计算每一集的回报，然后您将更新动作值或$Q(s,a)$ 作为每集的平均值。使用 open AI gym中的二十一点示例并使用折扣因子 1，您会得到以下结果

第 1 集 [{'state': (22, 10, False), 'reward': -1, 'action': 1}, {'state': (17, 10, False), 'reward': 0, ' action': 1}, {'state': (12, 10, False), 'reward': 0.0, 'action': 1}]

$Q((22, 10, False),0)=-1$

$Q((17, 10, False),1)=-1$

$Q((12, 10, False),1)=-1$

第 2 集 [{'state': (21, 10, False), 'reward': 1, 'action': 0}, {'state': (17, 10, False), 'reward': 0, 'action ': 1}, {'state': (12, 10, False), 'reward': 0.0, 'action': 1}]

$Q((21, 10, False),0)=1$

$Q((17, 10, False),1)=0$

$Q((12, 10, False),1)=0$

为了$Q((17, 10, False),1)$和$Q((12, 10, False),1)$是平均回报，即第一集为 -1，第二集为 1。

$Q(s,a)$表示$Q-value$对于状态-动作对。这意味着如果我们从状态开始的预期回报$s$， 采取行动$a$，并根据我们目前遵循的任何政策行事。

假设我们处于状态$s_0$， 采取行动$a_0$. 为了计算回报，我们需要从我们登陆后的任何状态遵循我们当前的政策$a_0$，直到剧集结束，并总结我们一路上获得的奖励（或折扣奖励）。

为什么要平均回报？
因为我们希望对状态-动作对多次执行此操作并计算所有此类情节的平均值。

为什么要多次？
一般来说，环境和转换函数会有一些随机性，我们不会每次都得到相同的奖励。

为什么要计算这个？
这个想法很简单。由于我们的目标是最大化平均回报，如果我们计算从状态开始的所有可能动作的 Q 值$s_0$，然后我们可以比较这些值并决定从状态中采取哪种行动最有利$s_0$.

由于这是一种表格方法，当他们说更新 Q 函数时，他们只是意味着更新 Q 值。

例如，假设我们处于状态$s_0$并且可以采取行动$a_0$,$a_1$， 和$a_2$. 我们首先计算 Q 值$(s_0, a_0), (s_0,a_1), (s_0, a_2)$对，然后我们将选择这三个中具有最大 Q 值的动作。