我目前正在进行一个构建深度神经网络的项目(为了我的论文)。由于我仍处于研究阶段,因此我正在尝试寻找各种方法和技术来初始化权重。显然,每一种方式都将被评估,我们将选择最适合我们的数据集和我们期望的结果的方式。
我都熟悉 Xavier 初始化、经典的随机初始化、He 初始化和零。在搜索论文时,我发现了 SCAWI one(统计控制的激活权重初始化)。如果您使用过这种方法,它的效率如何?
(另外,你知道有什么好的资源可以找到更多这些吗?)
我目前正在进行一个构建深度神经网络的项目(为了我的论文)。由于我仍处于研究阶段,因此我正在尝试寻找各种方法和技术来初始化权重。显然,每一种方式都将被评估,我们将选择最适合我们的数据集和我们期望的结果的方式。
我都熟悉 Xavier 初始化、经典的随机初始化、He 初始化和零。在搜索论文时,我发现了 SCAWI one(统计控制的激活权重初始化)。如果您使用过这种方法,它的效率如何?
(另外,你知道有什么好的资源可以找到更多这些吗?)