你仍然会选择一个动作。你的行动空间现在$\mathcal{A} = \mathcal{O} \times \mathcal{I}$我选择的地方$\mathcal{O}$成为您的问题的一组可能的顺序，并且$\mathcal{I}$成为可能项的集合。

如果这两个集合都是有限的，那么您仍然应该能够使用 DQN 解决这个问题。从理论上讲，这应该很容易看出，因为任何元素$\mathcal{A}$仍然是一个元素，只是碰巧这个元素现在是一个元组。

从编程的角度来看，让我们考虑一下 cartpole 的简单示例，其中可能的动作是左和右。你的$Q$-function 显然不会知道'left'和'right'的含义，你只需将它分配给向量的一个元素，即你的$Q$-function 将输出一个向量$\mathbb{R}^2$例如，第一个元素对应于“左”的分数，第二个元素对应于“右”的分数。在您的问题表述中仍然是这种情况，您将只有一个$Q$- 输出向量的函数$\mathbb{R}^d$在哪里$d = |\mathcal{A}|$- 你只需要确保你知道哪个元素对应哪个动作。

此外，这种方法可能会给您留下大维向量输出，我想这可能意味着您需要更多的模拟来正确探索动作空间。

希望这可以帮助。