多层感知器和广义前馈神经网络有什么区别?

数据挖掘 机器学习 神经网络 深度学习 毫升
2021-10-09 19:55:37

我正在阅读这篇论文:泰国曼谷降雨预测的人工神经网络模型作者创建了 6 个模型,其中 2 个具有以下架构:

模型 B:Simple multilayer perceptron具有Sigmoid激活函数和 4 layers,其中the number of nodes分别为:5-10-10-1。

模型 C:Generalized feedforward具有Sigmoid激活函数和 4 layers,其中the number of nodes分别为:5-10-10-1。

在论文的结果和讨论部分,作者得出结论:

Model CModel A与和相比增强了性能B这表明在本研究中的generalized feedforward network表现优于simple multilayer perceptron network

这两种架构之间有区别吗?

2个回答

好吧,您错过了他们为 GFNN 提供的图表。这是他们页面上的图表:

在此处输入图像描述

很明显,您可以看到 GFNN 的作用,与 MLP 不同,输入也应用于隐藏层。在 MLP 中,信息可以传递到隐藏层的唯一方式是通过前一层,而在 GFNN 中,输入信息可直接用于隐藏层。

我可能会在 ResNet CNN 中添加这种类型的连接,与其他 CNN 架构相比,它的性能显着提高。

我想理解它的最好方法是阅读其名为A generalized feedforward neural network architecture for classification and regression的论文。

本文介绍了一种用于模式分类和回归的新广义前馈神经网络 (GFNN) 架构。GFNN 架构使用广义分流神经元 (GSN) 模型作为基本计算单元,其中包括作为特例的感知器和分流抑制神经元。GSN 能够形成复杂的非线性决策边界。这使得 GFNN 架构可以轻松学习一些复杂的模式分类问题。在本文中,GFNN 被应用于几个基准分类问题,并将它们的性能与 SIANN 和多层感知器的性能进行了比较。实验结果表明,单个 GSN 可以胜过 SIANN 和 MLP 网络。

我必须补充一点,这篇论文太旧了。现在人们通常使用Relu非线性。也看看这里