体验重播就像做梦一样吗?

人工智能 强化学习 dqn 深度学习 经验回放
2021-11-01 00:10:37

在机器学习技术和人脑之间进行比较是一项危险的操作。当它成功时,它可以成为庸俗化的有力工具,但当它没有预防时,它可能导致重大误解。

我最近参加了一个会议,演讲者将 RL 中的体验重放描述为使网络“梦想”的一种方式。我想知道这个断言有多真实。演讲者认为,梦是随机添加的记忆,就像经验重播一样。然而,我怀疑大脑是否记得它的梦想或从中学习。你的分析是什么?

1个回答

演讲者认为,梦是随机添加的记忆,就像经验重播一样。

由于普遍缺乏对梦是什么的科学理解,演讲者采取了一些自由。对于为什么睡眠是动物的必要特征,我们甚至没有强烈的共识,更不用说做梦在其中扮演什么角色了。然而,有一些被广泛接受的理论,有证据支持,梦是学习和记忆过程的一部分例如,操纵睡眠或做梦的研究表明,学习技能的速度会发生变化。

强化学习中的经验回放是一个更加精确和易于理解的事情,根据当前关于长期价值的知识,随机访问和重新评估过去发生的单个时间步长。如果梦真的像今天在 RL 中实践的经验回放,那么它们将由一堆看似无关紧要的小事件随机混杂在一起,并且都非常准确地取材于过去一天的事件。有时梦确实包含这样的内容,但通常内容要多样化得多。

带着大量的艺术许可,是的,演讲者指的是关于梦的真实理论和猜想,这些理论和猜想确实有科学依据尽管将梦与更高级别的记忆或经验重放数据管理相提并论同样很好——哪些项目要重放,哪些要保留,这取决于信息的显着性。例如,有充分的证据表明梦有助于过滤被遗忘的东西,也有证据表明与强烈情绪状态相关的事件更有可能出现在梦中。

将说话者的类比与当前强化学习代理具有主观体验的任何建议分开是很重要的。我们距离这样的事情还有很长的路要走,并且在机器学习中使用做梦隐喻的其他类似用途——例如“深梦”——同样不是断言设备具有任何类型的体验。