什么是极限学习机?为什么不需要调整权重?

数据挖掘 机器学习 神经网络 大数据 训练
2022-03-02 08:21:41

维基百科说:

极限学习机是用于分类、回归、聚类、稀疏近似、压缩和特征学习的前馈神经网络,具有单层或多层隐藏节点,其中隐藏节点的参数(不仅仅是将输入连接到隐藏节点的权重)需要不调。

如何在没有实际看到训练集的情况下为链接分配值

到目前为止,从我的研究中了解这一点,我已经取得了领先,但并不令人满意,因为我无法从下面的段落中得到任何东西。

对于任何用作激活函数的非常量分段连续函数,如果调整隐藏神经元的参数,则该函数可以使 SLFN 逼近任意目标连续函数 f(x)。然后,根据任意连续分布概率,可以随机生成 i 从 1 到 L 的函数序列 {h 下标 i (x)},它具有普遍逼近能力,即

limL||Li=1βihi(x)f(x)||=0
具有适当输出权重的概率为 1β.

来源:A Parallel Multiclassification Algorithm for Big Data Using an Extreme Learning Machine,IEEE 神经网络交易 2017

任何人都可以用一个例子来证明/解释这一点吗?

也非常欢迎任何关于极限学习机的额外知识。

1个回答

ELM 实际上是在解决一个广义线性问题:

Hβ=Y

在哪里H是隐藏层输出的矩阵,β是连接隐藏层和输出层的权重向量(或矩阵),并且Y象征着你的训练目标。

目标是找到β使用 H 的伪逆。

解决这个问题相当于找到β达到最小二乘问题的最小值||HβT||

β=minβ||HβT||
回答你的问题

如何在没有实际看到训练集的情况下为链接分配值?

自从H取决于激活函数、连接输入层和隐藏层的初始化权重矩阵以及每个隐藏节点偏差,它包含所有输入信息并确保通过调整进行学习β连贯地。

例如,您可以在ELM 理论和应用或此ELM 演示文稿中找到更多详细信息