在您的算法中,当您使用 Gradient Boosting 时,您更喜欢 RandomSearchCV 还是 GridSearchCV 来优化您的超参数?
感谢您分享您的体验。
在您的算法中,当您使用 Gradient Boosting 时,您更喜欢 RandomSearchCV 还是 GridSearchCV 来优化您的超参数?
感谢您分享您的体验。
我认为这取决于您的多维网格的大小。如果它很小,那么您可以做到详尽并进行网格搜索。但是,如果它非常大,并且您的网格搜索计算时间延长太多,那么一定要进行随机搜索。事实上,与网格搜索相比,随机搜索可以探索更大的区域,这是一个优势。
无论如何,对于超参数搜索,有两个键:
找到最佳区域后,您可以使用网格搜索或随机搜索再次执行更受约束的区域。
另一种效果很好的选择是贝叶斯优化。在这里,您使用的库很重要。在 Python 中,在尝试了几种不同的问题后,我发现最好的是 skopt:https ://scikit-optimize.github.io/