自动超参数调优

数据挖掘 超参数 超参数调整
2021-09-22 14:55:19

是否有任何高级软件包允许对神经网络和传统机器学习算法(如 XGBoost、随机森林)进行自动超参数调整(使用贝叶斯、随机搜索等方法,可以更快地发现最佳参数)?听说过hyperopt,但是好像有点问题,不知道能不能训练传统的机器学习算法?

2个回答

有许多方法可以自动优化超参数,例如您链接的文章简要讨论的 GridSearch 和 RandomSearch。

选择其中一个的主要原因是,如果您想要最好的参数,并且不在乎获得它们需要多长时间:选择GridSearch另一方面,如果您不希望优化花费很长时间,但仍想要一些好的参数,那么请使用RandomSearch

scikit-learn 中的这两个实现并不完全是“高级包”,但它们可以为 sckit-learn 中的任何模型(随机森林、MLPClassifiers 等)完成工作。Emre 的评论还有一些非常酷的高级软件包,它们与 scikit-learn 或 TensorFlow 兼容。

如果您想进行贝叶斯优化,OPTUNA 将是您的最佳选择。与 HyperOpt 相比,它有几个优点。