这里有两个问题。

1. 您发布的代码不会间接训练您的多层感知器。相反，它有效地重新随机化权重，然后每次在第 35 和 54 行调用 .fit() 时重新拟合模型。使用 SKLearn 的 _fit() 函数和 Incremental=true 可能会解决这个问题，或者你可以打包将数据分成更大的批次，然后在几集之后离线训练。

2. 您的奖励功能使活着很痛苦，并且没有通过苹果提供足够的好处来弥补这一点。有 100 个方块可以包含苹果。平均而言，苹果会在每个方向上从蛇产生大约 5 个方格。由于蛇不能沿对角线移动，因此需要移动 10 次（左/右 5 次，上/下 5 次）。这意味着如果蛇完美地发挥，那么平均而言，它可能能够获得零奖励。在实践中，蛇不会完美地发挥作用。这意味着生活会产生负面的预期回报。

相反，如果蛇可以杀死自己，它将停止获得负奖励。您使用的奖励功能通过变得足够大以尽可能快地撞到自己的尾巴来最大化。我认为这条蛇在吃了 3 个苹果后应该能够做到这一点。寻找食物有一些动机，但与尽快击中自己的尾巴相比并不多。

如果你想让蛇学会寻找食物，把活着的惩罚降低到-1，甚至-0.1。蛇会对食物发出的信号反应更快。

假设你是蛇。

眼前是空的。你的左边是空的。你的权利是空的。到苹果的距离是4。苹果就在你面前。你的长度是20。

你能用这个输入做出一个好的决定吗？你会朝哪个方向去获得最高分？

根据给定的输入，您可以直接进入苹果。但这可能是失败并导致死亡。

恕我直言，输入状态根本不足以做出好的决定，因为

a) 蛇甚至不知道它当前向哪个方向移动。

b) 蛇不知道自己的身体在哪里

情况可能如下所示：

蛇离开这个陷阱的唯一方法是如箭头所示，以便尾巴及时释放出路。您的神经网络没有做出该决定的必要输入。