SCAWI 权重初始化方法的效率如何?

人工智能 神经网络 参考请求 权重 权重初始化
2021-11-05 00:10:22

我目前正在进行一个构建深度神经网络的项目(为了我的论文)。由于我仍处于研究阶段,因此我正在尝试寻找各种方法和技术来初始化权重。显然,每一种方式都将被评估,我们将选择最适合我们的数据集和我们期望的结果的方式。

我都熟悉 Xavier 初始化、经典的随机初始化、He 初始化和零。在搜索论文时,我发现了 SCAWI one(统计控制的激活权重初始化)。如果您使用过这种方法,它的效率如何?

(另外,你知道有什么好的资源可以找到更多这些吗?)

0个回答
没有发现任何回复~