梯度下降和反向传播

在深度学习中，梯度下降（GD）和反向传播（BP）用于更新神经网络的权重。

在强化学习中，可以使用神经网络将（状态、动作）对映射到 Q 值。然后可以使用GD和BP来更新这个神经网络的权重。

如何设计神经网络？

在这种情况下，可以以不同的方式设计神经网络。下面列出了一些：

1. 状态和动作被连接起来并馈送到神经网络。神经网络经过训练以返回属于前面提到的状态和动作的单个 Q 值。

2. 对于每个动作，都有一个神经网络提供给定状态的 Q 值。当存在大量动作时，这是不可取的。

3. 另一种选择是构建一个接受状态作为输入的神经网络。输出层包括$K$- 单位$K$是可能动作的数量。每个输出单元都经过训练以返回特定操作的 Q 值。

Q-learning更新规则

这是 Q-learning 更新规则

所以，我们选择一个动作$a_t$（例如，与$\epsilon$-贪婪行为政策）在该州$s_t$. 一旦行动$a_t$已被采取，我们最终处于一个新的状态$s_{t+1}$并获得奖励$r_{t+1}$与之相关联。为了执行更新，我们还需要选择 Q 值$s_{t+1}$与动作相关的$a$， IE$\max _{a} Q\left(s_{t+1}, a\right)$. 这里，$\gamma$是折扣因子和$\alpha$是学习率。

反向传播和 Q 学习

如果我们使用神经网络将状态（或状态-动作对）映射到 Q 值，我们可以使用类似的更新规则，但我们使用 GD 和 BP 来更新这个神经网络的权重。

这是一个可能的函数实现，它可以更新这种神经网络的权重。

def update(self, old_state, old_action, new_state, 
  reward, isFinalState = False):
 
  # The neural network has a learning rate associated with it. 
  # It is advised not to use two learning rates
  learningRate = 1
  
  # Obtain the old value
  old_Q = self.getQ(old_state, old_action)

  # Obtain the max Q-value
  new_Q = -1000000
  action = 0
  for a in self.action_set:
    q_val = self.getQ(new_state, a)
    if (q_val > new_Q):
      new_Q = q_val
      action = a  

  # In the final state there is no action to be chosen
  if isFinalState:
    diff = learningRate * (reward - old_Q)
  else:
    diff = learningRate * (reward + self.discount * new_Q - old_Q)

  # Compute the target 
  target = old_Q + diff

  # Update the Q-value using backpropagation
  self.updateQ(action, old_state, target)

在上面的伪代码和 Q-learning 更新公式中，可以看到折扣因子$\gamma$. 这只是表示我们是对立即的奖励感兴趣，还是对以后更有意义和更持久的奖励感兴趣。该值通常设置为 0.9。

你应该阅读这些论文：

• 深度 Q 网络

• 异步深度强化学习

两者都来自 DeepMind。他们在电子游戏和其他任务上取得了超人的成绩。他们很好地描述了算法。它不像前面的答案那么简单，它不会在复杂环境中收敛到一个策略。