使用神经架构搜索时,如何选择超参数?

人工智能 神经网络 超参数 神经进化 神经架构搜索
2021-11-16 12:12:25

看过很多关于 NAS 的文章,但还是不明白一个概念:在搭建神经网络的时候,需要设置超参数(比如学习率、dropout 率、batch size、filter size 等)。

在 NAS 中,只决定最好的架构,例如有多少层和神经元。但是超参数呢?他们是随机选择的吗?

1个回答

它没有明确说明(维基百科上根本没有说明,但是,经过一番搜索,我在这里找到了一个答案,大约在页面下方的三分之一处:

采用在控制器训练期间观察到的最佳性能架构,并在一些基本超参数(例如学习率和权重衰减)上执行网格搜索,以实现接近 STOTA(最先进)的性能。

所以,直接回答:规范;网格搜索