我是人工神经网络中机器学习的新手。我在 R 中使用 nnet 包来训练神经网络。模型参数和超参数有什么区别?我听说在我们设置模型参数之前设置了超参数。人工神经网络的超参数和模型参数是什么?它们是在什么时候实际调整的?即在神经网络的训练阶段调整超参数,在验证阶段调整模型参数吗?
神经网络的模型参数和超参数及其在训练和验证阶段的调整
数据挖掘
机器学习
神经网络
2021-10-16 02:17:57
2个回答
神经网络的参数通常是连接的权重。在这种情况下,这些参数是在训练阶段学习的。因此,算法本身(和输入数据)会调整这些参数。
超参数通常是学习率、批量大小或时期数。之所以称为“超级”,是因为它们会影响您的参数的学习方式。您可以根据需要优化这些超参数(取决于您的可能性):网格搜索、随机搜索、手动搜索、使用可视化...很好。
如果您想更多地了解机器学习中的超参数和一般参数,请查找“深度学习与浅层学习”。
我将模型参数描述为神经网络的架构选择,即有多少层、每层的节点数、单元的类型(sigmoid、tanh 等),而超参数是诸如学习率、动量之类的东西,正则化系数等。对于任何给定的神经网络架构,都需要在训练期间调整超参数。