我正在尝试在 OpenAI 的健身房中设计一个动作空间并遇到以下障碍。我看过这篇密切相关但略有不同的帖子。

我正在编写的环境需要允许代理在$1$和$n$每个步骤的子动作。让代理决定它想要采取多少子行动。因此，代理可以在其中指定 (sub-action-category, sub-action-id, action)$1$和$n$这样的元组。

Box如果不指定我在这里需要的形状边界，似乎不可能定义空间。我试图避免定义一个动作空间，其中每个子动作都由环境显式枚举，例如 (action) 元组，每个子动作都有 n 个条目。

还有其他空间可以用来动态缩放空间吗？