使用 LSTM 并减少输入状态会有所帮助吗？

我敢打赌，不。LSTM 更复杂，更难学习，而输入为 4 * 9 * 36 位仍然相当有限。

但是，您可能希望以某种方式聚合信息，例如，添加额外的位来告知已经打出的牌（无论何时）。此信息是多余的，但通过提供它，您可以为网络节省不少学习时间。

同时，您可能想要使用对称性（除了王牌之外的所有颜色都是等价的，因此权重应该相同）。

如何处理无效动作？

这很简单：没有无效的动作。该网络提供了 36 个输出，表示它想玩给定的牌。您只需拿一张具有最大输出值的有效卡片。您不要试图让网络了解哪些动作是有效的，因为这既不需要也没有帮助。

你有什么好的改进想法吗？（如神经虚拟自我游戏或类似的东西）

我说不出来。但它现在应该很重要。先让你的网络清楚地击败随机玩家，然后你可以寻找更多。或者从 Self-Play 开始，因为您可能想要两者进行比较。

或者这整个方法绝对是胡说八道？

我不这么认为，但是……（见下文）

我将输入状态设计为一个向量（一个热编码），每个玩家都有 36 个“位”

这听起来不太好。每个玩家都有 36 张牌中的 9 张，因此应该是编码。一个玩家不知道其他玩家的牌。

获胜奖励为+1，失败为-1，

在我知道的大多数纸牌游戏中，重要的是你赢了多少（不像围棋）。即使没关系，在早期学习阶段使用这些信息也是有用的。

-0.1 无效动作和

删除无效操作。只需将网络产生的任何内容转换为有效动作，不添加任何惩罚（如上所述）。

... 0 表示不会导致终止状态的操作

除了最后一个动作之外的所有动作都会导致非终止状态。您可以使用一些时间差异学习或使用游戏具有少量固定移动数并奖励/惩罚整个游戏中所有动作的事实。