MLP和RBF有什么区别?

机器算法验证 术语 模型比较 感知器 rbf-网络
2022-04-07 03:59:14

多层感知器(MLP) 和径向基函数(RBF)等两种类型的前馈网络之间的主要区别是什么?

这两种类型之间的根本区别是什么?

2个回答
  • MLP:使用点积(在输入和权重之间)和sigmoidal 激活函数(或其他单调函数,如ReLU),训练通常通过所有层的反向传播(可以任意多)完成。这种类型的神经网络借助许多技术(例如dropout或batch normalization)用于深度学习;
  • RBF:使用欧几里得距离(输入和权重之间,可以看作中心)和(通常)高斯激活函数(可以是多变量的),这使得神经元对局部更加敏感。因此,当中心/权重等于输入时,RBF 神经元具有最大激活(见下图)。由于这个特性,RBF 神经网络有利于新奇检测(如果每个神经元都以训练样本为中心,则远离所有神经元的输入构成新模式)但不太擅长外推。此外,RBF 可以使用反向传播进行学习,或者在隐藏层中使用无监督学习的混合方法(它们通常只有 1 个隐藏层)。最后,RBF 使训练过程中新神经元的生长更容易。

在此处输入图像描述

RBF 和 MLP 属于一类称为前馈网络的神经网络。

RBF的隐藏层不同于MLP。它执行一些计算。每个隐藏单元充当输入空间中的一个点,任何实例的激活/输出取决于该点(隐藏单元)和实例(也是空间中的一个点)之间的距离。

因此,RBF 学习了两种参数:
1)RBF 的中心和宽度
2)从隐藏层获得的输出的线性组合的权重

第一组参数可以独立于第二组参数学习。即通过执行K-means 聚类,您可以获得RBF 的中心和宽度。

简而言之,RBF 使用 RBF 中心和实例之间的距离作为相似性度量。

一个缺点是 RBF 对每个属性赋予相同的权重,因为它们在距离计算中被同等考虑。