因此，在查看径向基函数神经网络时，我注意到人们只推荐使用 1 个隐藏层，而对于多层感知器神经网络，更多的层被认为更好。
鉴于 RBF 网络可以使用反向传播版本进行训练，是否有任何原因导致更深的 RBF 网络无法工作，或者 RBF 层不能用作深度 MLP 网络中的倒数第二层或第一层？（我在考虑倒数第二层，所以它基本上可以根据之前 MLP 层学习的特征进行训练）
为什么人们不将更深的 RBF 或 RBF 与 MLP 结合使用？
机器算法验证
机器学习
神经网络
rbf-网络
2022-01-30 15:00:43
1个回答
根本问题是 RBF a) 过于非线性，b) 不进行降维。
因为 a) RBF 总是通过 k-means 训练而不是梯度下降。
我认为 Deep NN 的主要成功在于卷积网络，其中一个关键部分是降维：尽管使用 128x128x3=50,000 个输入，但每个神经元的感受野有限，而且每一层的神经元数量要少得多. 在 MLP 中的给定层中，每个神经元代表一个特征/维度），因此您不断降低维度（从层到层）。
尽管可以使 RBF 协方差矩阵具有自适应性，降维也可以，但这使得训练变得更加困难。
其它你可能感兴趣的问题