除了让 AI 学习要采取的行动之外，您还可以训练它来判断一个位置的“好”程度。为了确定要采取什么行动，你不要问人工智能“这是当前状态，我应该采取什么行动”，而是遍历所有可能的行动，并将结果状态输入人工智能询问“有多好你认为这个新状态是什么？”。然后，您选择了具有 AI 最喜欢的结果状态的移动。（或者你甚至可以将它与传统的 MinMax 方法结合起来）我自己是这个领域的新手，但我猜你会在动作空间很大时使用这种方法，特别是当大多数可能的动作不是大多数州的法律选择。

1. 填充值完全没问题。在图像识别的情况下，填充将是图像的背景（示例）。例如，在 Belot 中，您总共有 32 张卡片，可以是 32 个布尔特征。您可以将玩家拥有的那些设置为 1，而其余的设置为 0。请注意，在大多数游戏中，您需要的功能比手牌更多。即回合数，到目前为止已经玩过的牌，已经打过的电话等。
2. 定义“动作空间”的范围将特定于游戏。对于 Belot，它可以对 32 张卡片中的每一张进行数字编码。

您可以通过 Google 查找文章。这是一篇关于纸牌游戏机器学习的论文。我建议不要查看文章，而是查看有关 ML 的课程（即 Coursera 和 Udacity 有很好的免费在线课程）。

考虑到您的用例，我不会使用深度学习方法……有什么意义？

优秀的 AI 不仅能赢，而且玩起来很有趣。在实践中，当微调游戏机制时，您需要分析游戏中的搅动事件。如果你能向 AI 展示“嘿，这搞砸了，当这种情况发生时，你能想出一个好的游戏方式吗？”那就太好了。然后 AI 会说“好吧，当然，我不知道，我一直在赢不是人类认为有趣的东西……下次我会更有趣，同时也要努力赢”。

最近我一直在玩计算创造力，特别是偏序因果链接规划器 (POCL) 和代理。

POCL 试图制定计划以实现目标；这使得它们在计算上很有效，因为它们只需要满足目标中的缺陷（在桌上有最好的牌）并迭代到初始条件（桌上的特定牌和手上的一些牌等）。我相信，使用冲突驱动的 POCL，您可以轻松引入虚张声势。我以声明的方式编写了 POCL 算法，因此您不必对动作空间进行编码，而是使用模态逻辑对其进行配置。

然后您将拥有代理，他们将使用 POCL 算法生成的计划工件以便以有趣的方式进行游戏（代理的评估功能），同时还试图获胜（寻找获胜的最佳赔率）。代理的有趣之处在于，您可以轻松地组合它们并发现个性；我不知道深度学习方法如何轻松提供。

因此，通过使用 POCL 和代理，您可以首先通过使用一些启发式系统（就像您在使用强化学习时所做的那样）来教代理如何有效地获胜或优化计划以提供良好的“基本动作”。我不知道特定游戏的计算复杂性问题；然而，已经实现了这样的 POCL 算法，它们是上下文感知的（= 减少动作空间），所以如果你添加更多战略游戏抽象，POCL 应该没问题（记住使用某种阻尼因子来减少路径长度计划，以类似于 PageRank 的方式）。

在所有编程中，一个好的心智模型将使许多事情变得容易得多。通过深度学习，您将使用图像识别或类似的算法/方法来解决不同的问题，因为没有人会阻止您使用错误的工具来解决手头的问题。在真实游戏中，有玩家（Agents）、策略（POCL 计划）、虚张声势（POCL 冲突）和规则（由模态逻辑定义的 POCL 的动作空间）。当然，有些游戏可能存在计算复杂性问题；然而，通常这些可以通过对算法进行轻微优化来解决，这提供了一个很好的问题心理模型。