多层感知器与简单的全连接神经网络完全一样吗?

数据挖掘 深度学习 神经网络 毫升
2022-03-10 14:12:09

最近我一直在学习一些关于 StyleGans 的知识,有人告诉我,多层感知器 MLP 用于转换噪声的部分架构中。当我看到这个人的代码时,它看起来就像一个普通的8层全连接网络(即linear-->relu-->linear-->relu-->...)

去年,我阅读了 Aurelien Geron 的 Hands-on Machine Learning with Scikit-Learn、Keras 和 TensorFlow 2,他谈到了 MLP。当我读到它时,我将他的描述解释为 MLP 与普通的全连接神经网络并不完全相同。我没有完全理解文本,也没有这本书了,所以很遗憾,我记不起我读过的确切内容,所以我对他写的内容的理解可能完全错误。

MLP 和非常基本的全连接网络是一样的吗?

1个回答

是的,多层感知器只是交错的全连接层和非线性的集合。

现在常用的非线性是 ReLU,但过去也使用 sigmoid 和 tanh 非线性。

在书中,MLP 是这样描述的:

MLP 由一个(直通)输入层、一层或多层 TLU(称为隐藏层)和最后一层 TLU(称为输出层)组成(见图 10-7)。靠近输入层的层通常称为下层,靠近输出层的层通常称为上层。除了输出层之外的每一层都包含一个偏置神经元,并完全连接到下一层。

(“TLU”代表阈值逻辑单元)