人们可以期望选择下一个动作和评估状态所需的最佳高级特征非常相似。因此，为策略和价值函数共享同一个网络是一个合理的想法——你本质上是共享神经网络的特征提取部分的参数，并在两个不同的任务上微调网络的不同头：行动选择和价值预测。

使用二对一网络主要是样本效率问题：理论上，在这两种情况下，您的 AC 算法都应该有效。然而，在实践中，参数共享通常很有用，因为其中一个任务鼓励的表示可能对另一个任务非常有用，反之亦然，使一个任务能够导致另一个任务从局部最优解中解脱出来。这可能会更好的另一个原因仅仅是因为您不必从头开始学习相同（或至少相似）的表示两次 - 从而提高样本效率的训练。