你如何有效地选择神经网络的超参数(例如学习率、层数、权重等)?
你如何有效地选择神经网络的超参数?
人工智能
神经网络
机器学习
深度学习
超参数优化
超参数
2021-10-18 13:40:23
1个回答
在深度学习时代,有两种可能的选择。警告方法和熊猫方法。
鱼子酱方法
在这种方法中,假设您拥有一个非常强大的集群系统,使您能够在不同的节点上同时运行不同的模型。通过这种方式,您构建了一个 d 维空间,每个空间对应一个特殊的超参数。然后,您可以使用网格方法来划分空间,并且对于网格的每个交叉点,您可以进行可能的初始化,尽管有一些更好的方法可以找到更好的初始化。
熊猫进场
由于使用台式计算机,这种方法在学生中广泛使用。在这种方法中,您通常会尝试根据您的经验或其他可用的架构来找到超参数的初始化,并尝试通过使用交叉验证逐步完善它们。
要回答您的问题,效率取决于您的计算能力。更详细的可以看第三周的内容。
其它你可能感兴趣的问题