有人知道关于这个主题的任何论文吗？

我不熟悉我的头顶上的任何东西。我确实知道绝大多数强化学习文献都关注具有固定动作空间的设置（例如机器人技术，您的动作决定您如何尝试移动/旋转机器人的特定部分，或者您始终拥有相同设置的简单游戏移动的动作，也许是“射击”或“使用”等）。另一类常见的设置是动作空间可以很容易地被视为始终相同（通过枚举在某些状态下可能合法的所有动作），并在某种后处理步骤中过滤掉非法动作（例如 RL 在棋盘游戏中的工作）。

所以，可能会有一些东西，但它肯定不常见。大多数 RL 人喜欢尽可能少地涉及领域知识，我认为在给定特定状态下生成一组合法动作的函数在很大程度上可以被认为是领域知识。

还有其他方法来处理可变动作空间吗？

您描述的问题主要是使用函数逼近的强化学习中的问题，特别是使用神经网络的函数逼近。如果你能侥幸使用表格 RL 算法，问题就会立即消失。例如，一个表$Q(s, a)$表格中常用的值，基于值的算法不需要包含所有可能的条目$(s, a)$对；如果它只包含以下条目就可以了$(s, a)$对这样$a$是合法的$s$.

可变动作空间主要成为深度强化学习方法中的一个问题，因为我们通常使用固定的神经网络架构。DQN 风格的算法涉及采用描述状态的特征向量的神经网络$s$作为输入，并提供$Q(s, a)$估计作为输出。这立即意味着我们需要为每个动作一个输出节点，这意味着您必须枚举所有动作，这就是您的问题所在。同样，策略梯度方法传统上也需要每个动作一个输出节点，这再次意味着您有能够提前枚举所有动作（在确定网络架构时）。

如果您仍想使用神经网络（或具有类似输入和输出的其他类型的函数逼近器），解决您的问题的关键（如果您已经在问题中列出的建议都不符合您的喜好）是意识到你必须找到一种不同的方式来制定你的输入和输出，这样你就不再需要提前枚举所有的动作。

我能想到的唯一方法是，如果您能够为完整的状态-动作对计算有意义的输入特征$(s, a)$. 如果你能做到这一点，那么你可以，例如，构建神经网络：

• 取一个特征向量$x(s, a)$作为输入，它描述（希望以某种有意义的方式）完整的状态对$s$ 和行动$a$
• 制作单曲$\hat{Q}(s, a)$估计作为输出，对于作为输入给出的特定状态+动作对，而不是产生多个输出。

如果你能做到这一点，那么在任何给定的状态下$s$您可以简单地遍历所有法律行动$A(s)$, 计算$\hat{Q}(s, a)$对他们所有的估计（注意：我们现在需要$\lvert A(s) \rvert$通过网络而不是像 DQN 风格算法中通常需要的单次通过），否则类似于标准 DQN 风格算法进行。

显然，对动作具有良好输入特征的要求并不总是能得到满足……但我怀疑有很多好的方法可以解决这个问题。这与各州的情况非常相似。在表格 RL 中，我们枚举了所有状态（和所有动作）。使用函数逼近，我们通常仍然枚举所有动作，但通过用有意义的特征向量替换它们来避免枚举所有状态（这可以实现跨状态的泛化）。如果您想避免枚举动作，您将不得不以非常相似的方式对动作进行泛化，这再次意味着您需要描述动作的特征。

3. 遇到的另一种方法是，假设不同动作集的数量$n$很小，有功能$f_{\theta_1}$,$f_{\theta_2}$, ...,$f_{\theta_n}$返回有关该特定状态的操作$n$有效的行动。换句话说，一个状态的执行动作$s$有 3 个动作将被预测$\underset{a}{\text{argmax}} \ f_{\theta_3}(s, a)$.

这听起来很复杂，而且不同动作集的数量通常非常多，即使对于最简单的游戏也是如此。想象一下跳棋，忽略促销和跳跃，为简单起见，还有一些$7 \cdot 4 \cdot 2=56$可能的动作（这很好），但是这些动作的不同集合的数量要高得多。实际上很难计算在一个真正的游戏中可能有多少这样的集合——它肯定比$2^{56}$，但也肯定太大而不能实用。

还有其他方法来处理可变动作空间吗？

假设动作的数量不太大，您可以简单地忽略不适用于给定状态的动作。这与学习不同 - 您不必学习为非法行为返回负面奖励，您根本不在乎并选择返回最佳奖励的合法行为。

---

注意你的表达

$$\forall s \in S: \exists s' \in S: A(s) \neq A(s') \wedge s \neq s'$$

可以简化为

$$\forall s \in S: \exists s' \in S: A(s) \neq A(s')$$

甚至

$$|A(s)|_{s \in S} > 1$$