这些是什么?学习率、时期、小批量大小,还有什么?
我是否也将网络架构视为超参数?
我没有找到最后一个问题的具体答案。
这些是什么?学习率、时期、小批量大小,还有什么?
我是否也将网络架构视为超参数?
我没有找到最后一个问题的具体答案。
是的。本质上,您可以初始化的任何参数(在训练神经网络模型之前)都可以被视为超参数。这包括优化器的超参数(例如,SGD、Adam 等):学习率、衰减率、步长和批量大小;以及模型的超参数 (CNN):层数、每层的单元数、每层的辍学率、L2(或 L1)正则化参数、激活函数类型(ReLU、Sigmoid、Tanh),如果你是在处理 CNN 时,还有额外的超参数,例如与卷积层相关的超参数:窗口大小、步幅值和池化层。您可以初始化和调整更多的超参数。例如,看看这个列表。
深度神经网络的超参数: - 迭代次数 - 神经网络中的层数 LL - 每层中隐藏单元的数量 - 学习率 α - 步长 - 激活函数的选择 - 损失函数 - 小批量大小 -动量 - 正则化 - 退出率 - 权重衰减