我试图理解径向基神经元网络和高斯核支持向量回归之间的区别。我观看了 Andrew Ng 关于 SVN 内核的介绍，我还阅读了 Bishop 的书中对 RBFNN 的介绍和维基百科关于 SVR 的文章。
正如我在这两种情况下都正确理解的那样，我尝试通过计算从训练集到分布在特征空间中的某些中心的数据之间的距离的高斯函数（激活 rbfs）来找到从特征空间到 R 的函数。接下来，我尝试找到最佳的系数线性组合集，以将我的数据近似为激活的 RBF 的线性组合。
然而，在一些论文中，这些方法被称为两种不同的竞争方法。
所以我的问题是到底有什么区别？
您对模型功能的描述是正确的。在结构上，这两个模型都是所谓的内核方法的代表。因此，它们非常相似，在许多情况下都相同。
这两种方法完全不同的是核中心和线性系数的推导方式。我在 SVM 方面的经验有限，因此我无法详细介绍训练方法，但总而言之，它包括解决受约束的优化问题，即找到最大系数的最佳近似值。这是通过线性规划或通过序列最小优化 (SMO) 等方法实现的。
另一方面，训练 RBFN 是另一回事。识别内核通常以两种方式之一完成；通过使用聚类算法或使用正交最小二乘法 (OLS)。在任何一种情况下，线性系数都被识别为通过最小二乘法 (LS) 的第二步。
训练的差异意味着，即使在结构上，得到的模型可能是相同的，但在功能上，由于拟合程序的不同，它们很可能会完全不同。
一些参考资料：
JC Platt，“使用序列最小优化快速训练支持向量机”，Adv. 核方法，第 185-208 页，1998 年。
J. Moody 和 CJ Darken，“本地调谐处理单元网络中的快速学习”，神经计算，第一卷。1，没有。2，第 281-294 页，1989 年 6 月。
S. Chen、CFN Cowan 和 PM Grant，“径向基函数网络的正交最小二乘学习算法”，IEEE Trans。神经网络，第一卷。2，没有。2，第 302-309 页，1991 年 3 月。
SVR 仅适用于训练数据的边缘，但 RBFNN 必须优化权重
与 SVR 相反，RBF NN 可能处于局部最小值