是否存在尖峰神经网络优于其他算法(非尖峰)的领域?

数据挖掘 机器学习 分类 神经网络 深度学习 支持向量机
2021-10-09 08:55:52

我正在阅读诸如Echo State NetworksLiquid State Machines 之类的储层计算技术这两种方法都涉及将输入馈送到一组随机(或不)连接的尖峰神经元,以及产生输出的相对简单的读出算法(例如线性回归)。神经元群体权重要么是固定的,要么是通过类似赫布的局部活动规则(如STDP )进行训练的。

这些技术在对具有重要时间分量的多维输入进行建模时表现良好。然而,计算尖峰神经元膜电位涉及微分方程积分,并且计算成本可能很高。

是否有任何示例说明油藏计算技术的额外计算复杂性被预测或分类任务中的收益所抵消?

例如,是否有任何 SNN 技术优于基于 RNN、ANN、SVM、DNN、CNN 或其他算法的复杂架构的案例?

1个回答

我的答案来自经验,而不是来自已发布的实验或基准。

据我所知,Spiking Neural Networks 在任何任务中都不会胜过其他算法。根据最近的出版物,机器人技术和水库计算已经取得了进步,但水库计算算法与其他算法(如强化学习)一样好。有传言说一些公司对这些算法感兴趣,因为他们最近聘请了一些水库计算研究人员,但这只是谣言。

这是最新的出版物之一,详细介绍了机器人技术中水库计算的进步和局限性 https://www.cs.unm.edu/~afaust/MLPC15_proceedings/MLPC15_paper_Polydoros.pdf

我在大学时开始使用 Wolfgang Maass 提出的架构试验液态机器。它看起来很有希望,特别是抑制神经元构成电路一部分的想法。但实际上在现实生活中的数据应用(语言分类、图像分类等)中使用这些算法并不足以接近 RNN、ANN、SVM 等基准。有时甚至香草多层神经网络的性能也比液态机器好。我的理解是,这类模型适用于机器人技术和其他与自主相关的任务,如传感器和自主导航(但这不是我的研究领域),但对于其他类型的数据则不然。有几个实验室,主要在欧洲使用这种算法,但到目前为止,我还没有听说过去几年在这个领域有很多进展。

我确实相信受大脑启发的算法是人工智能的下一个重要步骤,虽然 Numenta 和 Deepmind 等许多公司都在朝着这个方向进行研究,但截至今天,要想在人工智能领域取得下一个突破,还有很多工作要做。人工智能。