硕士论文Action space representation in combinatorial multi-armed bandits (2015) 似乎为我的问题提供了答案。

可以使用几种算法

• 朴素蒙特卡罗抽样 (NMC)
• 线性边信息 (LSI)
• 具有层次扩展的蒙特卡洛树搜索 (MCTS-HE)
• 具有维度扩展的 MCTS

这个想法是分而治之。

这是第 4.2 节中 HE 算法的屏幕截图。

一种非常流行的能够同时预测多个动作输出的 RL 算法是近端策略优化。在那个算法中，一个或多个，说$n$，输出元组，$(\mu, \sigma)$，可以一次预测（有$2*n$输出节点），其中每个元组用于参数化高斯分布，从中采样相应的动作值。然后将如此采样的动作值应用到模拟/游戏中。通过稍微修改这个过程，这当然也可以同样很好地应用于离散动作空间。

为了帮助您入门，PPO 的多个高质量实现可用于快速原型制作，例如OpenAI 基线或稳定基线。