如何使用神经网络表示多维状态?

人工智能 机器学习 深度学习 q学习 dqn 函数逼近
2021-10-19 20:21:42

我有一副 52 张扑克牌中的 15 张独特的扑克牌。给定状态由一组 15 张卡中的相应卡值表示,其中卡值是与该卡相关联的质数。例如,AH用 表示3

我应该如何代表 NN 的单个状态?它应该是代表卡片列表的 15 个质数的列表吗?我希望我可以将单个状态表示为所有 15 个素数中的每一个的总和,然后通过 sigmoid 函数将该总和抛出。然而,我担心的是,如果我将状态的维度减少为单个属性,NN 会丢失信息(即使该属性对于该状态是唯一的——与任何其他素数的总和相比,素数的总和是唯一的数字nn)。

每个状态的维度对于深度 Q 学习有多重要?我真的很感激,即使是一些大方向。

1个回答

以我的拙见,将它们分开似乎很重要,如果拥有某张卡可以以某种方式影响结果而不是其主要价值,而不仅仅是使用总和。但这取决于游戏及其规则。例如:

如果在 15 张牌中有 5 张红心让你赢了游戏,那么如果你只将状态表示为牌值的总和,DQN 永远不会知道不是全部 15 张牌导致了你赢了,但只是设定的特定部分。