机器算法验证 - 极限学习机：这是怎么回事？ - 吾爱随笔录

一年多来，我一直在思考、实施和使用极限学习机 (ELM) 范式，我做的时间越长，我就越怀疑它是否真的是一件好事。然而，我的观点似乎与科学界相反——当使用引用和新出版物作为衡量标准时——它似乎是一个热门话题。

ELM 已由Huang 等人介绍。人。大约在 2003 年左右。基本思想相当简单：从 2 层人工神经网络开始，随机分配第一层的系数。这将通常通过反向传播处理的非线性优化问题转换为简单的线性回归问题。更详细，对于，模型是 $\mathbf x \in \mathbb R^D$

f (x) = \sum_{i = 1}^{N_{hidden}} w_{i} σ (v_{i 0} + \sum_{k = 1}^{D} v_{i k} x_{k}) .

$f(\mathbf x) = \sum_{i=1}^{N_\text{hidden}} w_i \, \sigma\left(v_{i0} + \sum_{k=1}^{D} v_{ik} x_k \right)\,.$

现在，只有被调整（为了最小化平方误差损失），而都是随机选择的。作为对自由度损失的补偿，通常的建议是使用相当多的隐藏节点（即自由参数）。 $w_i$ $v_{ik}$ $w_i$

从另一个角度来看（不是文献中通常提倡的，它来自神经网络方面），整个过程只是线性回归，但是您可以随机选择基函数，例如 $\phi$

ϕ_{i} (x) = σ (v_{i 0} + \sum_{k = 1}^{D} v_{i k} x_{k}) .

$\phi_i(\mathbf x) = \sigma\left(v_{i0} + \sum_{k=1}^{D} v_{ik} x_k \right)\,.$

（对于随机函数，除了 sigmoid 之外，还有许多其他选择。例如，使用径向基函数也应用了相同的原理。）

从这个角度来看，整个方法几乎变得过于简单化，这也是我开始怀疑该方法是否真的是一个好方法的点（……而它的科学营销当然是）。所以，这是我的问题：

在我看来，使用随机基函数对输入空间进行栅格化的想法对于低维度是有益的。在高维度上，我认为使用具有合理数量的基函数的随机选择是不可能找到一个好的选择的。因此，ELM 是否会在高维中退化（由于维度灾难）？
你知道支持/反对这种观点的实验结果吗？在链接的论文中，只有一个 27 维回归数据集（PYRIM），该方法的性能类似于 SVM（而我更希望看到与反向传播 ANN 的比较）
更一般地说，我想在这里发表您对 ELM 方法的评论。