极限学习机 - 为什么随机权重而不是空间跨越?

数据挖掘 机器学习 神经网络
2022-02-21 03:16:13

撇开极限学习机 (ELM) 的优缺点不谈,我不明白一些非常基本的东西:为什么隐藏层中的权重和偏差是随机的?

用有序值彻底跨越权重偏差空间,这样我们就可以确定所有的空间都被跨越了不是更好吗?当然,随机权重和偏差可能会使空间区域人口稀少,从而影响结果,即您在一个区域中没有节点,如果有一个节点会是有益的吗?

例如,比较Sobol 序列Wikipedia 页面右上角的两个数字。与 sobol 序列相比,伪随机序列产生了很多空白区域。

伪随机序列
伪随机序列

来自 Wikimedia Commons的 Jheald [CC BY-SA 3.0 ( https://creativecommons.org/licenses/by-sa/3.0)]的Sobol 序列图像
在此处输入图像描述

0个回答
没有发现任何回复~