Q1。你肯定走在正确的轨道上，但一些改变可能会有很大帮助。有些人每个动作使用一个输出单元，因此他们只需运行一次网络即可进行动作选择（您必须为每个可能的动作运行一次网络）。但这不应该对学习产生影响，并且只有在您计划显着扩大模型时才值得实施。

Q2。通常，人们在神经网络的最后一层使用线性激活函数，尤其是强化学习。这有多种原因，但最相关的是线性激活函数允许您将整个实数范围表示为输出。因此，即使您不知道您的任务的奖励范围，您仍然可以保证能够表示该范围。

Q3。不幸的是，将神经网络（以及一般的非线性函数逼近）与强化学习相结合的理论保证几乎不存在。有一些更高级的强化学习版本（主要来自 Sutton 实验室）可以提出你提到的那种收敛性声明，但我从未真正看到这些算法“在野外”应用。这样做的原因是，虽然不能保证出色的性能，但通常在实践中获得，并适当注意超参数和初始条件。

对于一般的神经网络，最后一点值得一提：不要对具有很多隐藏层的网络使用 sigmoid 激活函数！他们被“梯度消失”的问题所困扰；误差信号几乎没有到达较早的层（查看函数的导数应该清楚为什么会这样）。相反，请尝试使用整流线性单元 (RELU) 或“软加”单元，因为它们通常在深度网络中表现出更好的性能。

有关使用强化学习训练的神经网络的出色实现，请参阅本文：

Mnih、Volodymyr 等人。“用深度强化学习玩 Atari。” arXiv 预印本 arXiv:1312.5602 (2013)。

对于激活函数，maxout 也很有效。使用合适的训练器对于深度网络至关重要，我尝试了各种训练器，但决定坚持使用 RMSprop，它看起来很棒！