人类经常梦见白天发生的随机事件。造成这种情况的原因可能是我们的大脑在我们睡觉时正在反向传播错误,而我们将这些“反向传播”的结果视为梦?
梦在深度学习中是否与反向传播具有相似的作用?
这是一个非常有趣的问题,也是人工智能的一个重要问题。当前所有深度学习的成功都建立在反向传播的有效性之上,那么如果它在当前唯一的智能示例中没有发挥作用怎么办?
大脑使用某种形式的反向传播是很有意义的,因为这将允许它以最有利于最终产生智能行为的高级特征的方式创建低级特征。如果大脑使用反向传播,梦想是合乎逻辑的候选者。
当然这里的问题是大脑不计算和传播梯度,所以问题是反向传播算法是否可以在考虑到生物约束的情况下以某种方式实现,例如神经计算的局部性和非对称反馈连接.
事实证明这实际上是可能的,正如Hinton和Bengio在这些谈话中所解释的那样。反向传播不需要对称反馈连接(实际上是不断更新的反馈连接),尽管这看起来很不直观。反向传播可以用一种时间差异学习的形式来模拟,这在生物学约束下是合理的。
当然,这并不能最终回答这个问题,但它确实使这种可能性比先验假设更合理。
在认知科学中,关于睡眠/做梦和记忆/学习的关系进行了大量研究。
我对这个主题了解得不够多,不能说它在精神上是否类似于反向传播,正如 BlindKungFuMaster 指出的那样,这可能是推论。
这是 2004 年的一篇论文,睡眠中的记忆巩固:梦想还是现实?,得出的结论是“没有令人信服的证据支持睡眠和记忆巩固之间的关系。”
然而,哈佛医学院最近的一篇文章, 睡眠有助于学习,记忆(2015),引用了 2010 年的一项研究,得出了不同的结论:
哈佛大学 2010 年的一项研究表明,做梦可能会重新激活和重组最近学习的材料,这将有助于提高记忆力和提高表现。
一般认为,睡眠/做梦是大脑中的神经连接被加强或抑制的过程。以下是涉及该主题的几篇论文。第一个可能特别有趣,它参考了Hinton的工作,尽管要知道它已经有 20 多年的历史了,在最近的 NN 突破之前:
神经网络:睡眠和记忆(Sejnowski,1995):
欣顿等人。图 6提供了一个优雅的新理论框架,用于在分层神经网络模型中创建有效的记忆表示。在这个模型中(图 1),当皮层的外部输入和前馈处理被抑制时,反馈连接在网络的输入层上生成与更高级别的表示相对应的模式。在这个生成性睡眠阶段,前馈突触强度的强度发生了变化。相反,在清醒阶段,反馈连接被抑制,感觉输入驱动前馈系统,在此期间可以改变反馈连接上的权重。
梦到学习任务与增强的睡眠相关记忆巩固有关(NIH,2010):
这些观察表明,人类睡眠依赖的记忆巩固是由最近形成的记忆的离线重新激活促进的,此外,梦的经历反映了这种记忆处理。在清醒期间没有看到类似的效果,这表明这些记忆过程是特定于睡眠状态的。
睡觉时学习:梦想还是现实?(哈佛医学院,2012)
神经科学家揭示大脑如何增强联系(麻省理工科技评论,2015 年)
记忆巩固重新配置了参与抑制情绪记忆的神经通路(Nature,2016)
睡眠和可塑性的代价:从突触和细胞稳态到记忆巩固和整合(美国国立卫生研究院,2014 年)
大脑使用 REM 睡眠来切断不需要的连接(Ars Technica,2017)
大脑的连接在睡眠期间收缩(大西洋,2017)
而且,只是为了好玩: