RBF 网络中的原型是什么?

数据挖掘 机器学习 神经网络 参考请求
2022-02-18 15:31:40

我目前正在阅读Michael R. Berthold 和 Jay Diamond 的通过动态衰减调整提高 RBF 网络的性能(在线),以了解动态衰减调整(DDA;RBF 网络的建设性训练算法)如何。这样做,我偶然发现了原型这个词:

不幸的是,PRCE 网络不会单独调整其原型的标准差,仅使用该参数的一个全局值。

[...]

本文介绍了动态衰减调整 (DDA) 算法,该算法利用了 PRCE 算法的构造特性以及每个原型衰减因子的独立适应。

[...]

PNN 不适合大型数据库,因为它们会为遇到的每种训练模式提交一个新原型,从而有效地成为参考记忆方案。

我试图在他们在此上下文中引用的唯一资源中找到它(DL Reilly、LN Cooper、C. Elbaum:“A Neural Model for Category Learning”),但遗憾的是我无法访问该资源。

我在https://chrisjmccormick.wordpress.com/2013/08/15/radial-basis-function-network-rbfn-tutorial/上找到了解释

RBFN 通过测量输入与训练集中示例的相似性来执行分类。每个 RBFN 神经元都存储一个“原型”,这只是训练集中的示例之一。当我们想要对新输入进行分类时,每个神经元都会计算输入与其原型之间的欧几里得距离。粗略地说,如果输入更接近于 A 类原型而不是 B 类原型,则将其归类为 A 类。

所以原型只是 RBF 神经元的参数(中心和半径,假设使用高斯)?

改写第一个引用的句子,这是否意味着 RBF 网络通常只学习中心和半径是固定的?

我的问题是我是否理解正确。请添加参考(不是随机的博客文章),以使其更清晰。

1个回答

基于内核的方法通过基于输入向量到一个或多个示例向量的距离度量来构建特征向量来工作,这些距离度量是在训练期间确定的。这些是您案例中的原型(在某些情况下也称为回归量)。它们本质上是自变量空间中的向量。

径向基函数本质上是将输入向量和原型之间的(欧几里得)距离“转换”为相似值,通常为 [0,1]。其中一些,例如高斯,具有诸如带宽之类的参数。

在 RBF 网络中,有许多不同的方法来确定原型,例如通过在自变量空间进行聚类,或通过正交最小二乘法(底部的参考资料)。

就像您正确假设的那样,第一句话解释了在许多训练算法的情况下(包括上面提到的那些),RBF 的带宽是恒定的并且是先验确定的,需要确定的是原型的实际位置。在这种情况下,原型将引用输入空间中的值组合,而不是半径(无论如何都是固定的)。

我没有读过有问题的论文,但似乎作者提出了一些方法来单独调整 RBF 的带宽。在这种情况下,半径可能也包含在原型的概念中,但它是特定于所讨论的研究的。

参考

J. Moody 和 CJ Darken,“本地调谐处理单元网络中的快速学习”,神经计算,第一卷。1,没有。2,第 281-294 页,1989 年 6 月。

S. Chen、CFN Cowan 和 PM Grant,“径向基函数网络的正交最小二乘学习算法”,IEEE Trans。神经网络,第一卷。2,没有。2,第 302-309 页,1991 年 3 月。