人脑中是否使用了某种 dropout?

人工智能 机器学习 辍学 以人为本 神经科学
2021-11-03 09:30:41

我读过人工神经网络是基于人脑的工作方式。现在,我正在阅读有关辍学的信息。人脑中是否使用了某种 dropout?我们可以说遗忘的能力是某种辍学吗?

1个回答

人脑的工作原理是让神经元以不同的速率不断地放电。因此,如果放电率增加,神经元就会将过度兴奋或平静的信息传递给与其相连的其他神经元。连接到前一个神经元的其他神经元如何响应它发送的消息,取决于连接的神经元之间的连接强度。然而,在大脑中出现真正的辍学就像让一个神经元完全停止放电一段时间。据我所知,除非神经元死亡,否则这不会发生。所以,不,大脑中似乎没有任何真正的生物学等价物。如果你忘记了某些东西,那只是由于大脑中某些连接的减弱造成的。

确实,神经网络的介绍性文本告诉您这些网络的神经科学灵感,但这种相似性仅在最抽象的方式中成立。是的,生物和人工神经网络中都有神经元。但大脑中的通信以异步、连续的生化方式进行,而人工神经网络中的通信通过获取一个节点的数字状态,通过两个节点之间连接的权重对其进行缩放,然后添加加权前一个节点对接收节点激活的贡献。因此,这两种方法的基本原理已经非常不同(生物学变体更加复杂和精细)。

如果您想找到具有更多受生物启发的特性的东西,请查看卷积神经网络在理论上是如何受到(人类)视觉系统工作的启发。除此之外,dropout 是一种纯粹的机械策略,可以很好地规范模型,以增强模型的泛化能力,即使模型在看不见的数据上也能很好地工作。它只是算法优化过程的一部分。