我认为你的网络应该有各种动作作为输出，但我不是深度网络的专家。我只是认为这种轻量级的多任务学习形式可能会更好。多任务学习的想法是预测器使用几乎相同的结构（仅改变输出权重）预测多个变量（在这种情况下是各种 Q(s,a1)、Q(s,a2)...）会学到更明智的东西。虽然我承认在这里应用它可能有点牵强。

至于真正的问题，强化学习中一种流行的技术是平铺编码。

基本思想是离散化（在您的情况下为二维）状态空间 - 想象一个放置在二维空间上的网格 - 并为每个单元分配一个输入特征；所有这些变量都设置为零，除了你的连续变量落入的那个。例如，如果您的网格是 20x20，您将有 400 个变量，其中 399 个设置为零，1 个设置为 1。

Tile Coding 更进一步，并使用网格的轻微偏移重复此操作。想象一下，您创建了一个相同的网格，但将其稍微向右移动了单元格宽度的 1/10：您将像以前一样拥有另一组 400 个变量，但设置为 1 的单元格可能不一样. 然后你重复这个移动网格 2/10 并且你有另一组 400 个变量，同样，只有一个被设置为一个。总共你有 10 组 400 个变量（如果你重复更多，你会得到和以前一样的网格）；在您的 4000 个变量中，只有 10 个设置为 1。现在通过在 Y 轴上添加 1/10 的单元格偏移来重复此操作，并获得另外 4000 个变量。重复 2/10，你会得到另外 4000 个。到最后，你有 40000 个变量，其中 100 个设置为 1。

现在您的网络可以更轻松地学习不同位置的不同权重。我建议您点击上面的链接以获得比我更好的解释（和数字！）

我的建议是将所有这些变量输入你的网络，让它预测所有动作的 Q 值。但是，再说一次，我不是深度网络方面的专家，所以我可能是错的。

此外，根据 Andrej Karpathy 的说法，“大多数人更喜欢使用 Policy Gradients，包括原始 DQN 论文的作者，他们已经证明 Policy Gradients 在调整良好时比 Q Learning 工作得更好。”。这意味着您最好不要使用 Q-learning（就像他们在原始 DQN 公式中所做的那样）来训练您的网络。看看Andrej 的博客和他指向的论文。