卷积神经网络在多大程度上受到生物学的启发?

机器算法验证 卷积神经网络 神经科学
2022-04-09 05:26:35

我在几个地方读到卷积神经网络受到生物学的启发。CNN 在哪些方面反映了生物学,在哪些方面不是?是否有生物学上合理的计算机视觉架构可以成功地学习翻译不变性?

2个回答

论文https://arxiv.org/pdf/1807.04587.pdf(2018年 7 月)报告了一些努力寻找生物学上合理的人工神经网络学习算法。他们主要关注反向传播,但也讨论权重共享。他们回顾了该领域主要研究人员和其他人的大量工作。他们得出结论,运行良好的算法不合理,合理的算法运行不佳。他们的参考资料看起来是进一步阅读的一个很好的起点,而且看起来整个问题又有点升温了。

我认为卷积的含义有些混乱。ConvNets 在 ANN 研究中使用权重共享(也称为权重绑定)。https://www.quora.com/What-exactly-is-meant-by-shared-weights-in-convolutional-neural-network有一个教程

这里的重点是权重共享,而不是卷积本身。它对于平移不变性至关重要,这是 ConvNets 最重要的主张之一。没有它,他们将无法在合理的时间内学到任何东西。因此,人工神经网络研究人员倾向于假设“卷积”意味着权重共享。

在其他学科中,我认为没有重量共享这样的概念。正如@Carl 所说,卷积结构在大脑中很熟悉,但在大脑中似乎没有什么比形式或功能上的重量共享更重要。

因此,要回答 OP 的原始问题:卷积是非常合理的,但权重共享不是。因此,在视觉或任何其他领域中,对于 ConvNets 没有生物学上合理的模型,对于也使用权重共享的某些其他类型的 ANN 也没有。(人们也可以对所有使用反向传播的人工神经网络说同样的话,其中包括大多数监督学习,无论是否卷积。)

警告:我只看了@Carl 引用的论文。对我来说化学太多了,所以我只是假设它 与权重共享的卷积无关。

与@JWG 链接的论文相关,这里是 Hinton 关于同一主题的讲座,还请务必查看他最近探索的关于胶囊网络的概念

https://www.youtube.com/watch?v=rTawFwUvnLE

更笼统地说,无论何时试图弥合大脑与通过 ANN 建模之间的差距,Hinton 无疑是我最好的首选之一。