Q learning 预测动作值，$q(s, a)$采取行动$a$处于状态$s$. 行动价值通常是所有未来奖励的贴现总和。一般来说，它可以采用任何标量值。

DQN 使用神经网络来近似$q(s, a)$. 尽管您可以使用它来选择一个动作（因此将问题视为分类），但 NN 必须执行回归来预测动作值。

最常见的是使用线性最终层和 DQN 中的均方误差损失来匹配这个回归任务。所以是的，您会发现大多数控制 DQN 将做出与您正在查看的 cartpole 示例相同的选择。