有三种主要技术可以调整任何 ML 模型的超参数，包括 XGBoost：

1）网格搜索：你让你的模型使用不同的超参数集运行，并在它们之间选择最好的一个。像 SKlearn 这样的包已经实现了例程。但同样在这种情况下，您必须预先选择网格搜索的节点，即例程必须尝试哪些值

2）随机搜索：类似于网格搜索，但你基本上只选择参数边界，并且例程随机尝试不同的超参数集。

有关方法 1 和 2 的更多信息在这里。

3）贝叶斯优化算法；这是我喜欢的方式。基本上，该算法根据已经执行的试验结果猜测下一组要尝试的超参数。一个易于使用且功能强大的是SMAC。

将 GridSearchCV 与 XGBoost 一起使用时，请确保您拥有最新版本的 XGBoost 和 SKLearn，并特别注意 njobs!=1说明。

import xgboost as xgb
from sklearn.grid_search import GridSearchCV

xgb_model = xgb.XGBClassifier()
optimization_dict = {'max_depth': [2,4,6],
                     'n_estimators': [50,100,200]}

model = GridSearchCV(xgb_model, optimization_dict, 
                     scoring='accuracy', verbose=1)

model.fit(X,y)
print(model.best_score_)
print(model.best_params_)

XGBoost 的忠告，小心过度拟合。在您的特定情况下，我建议使用 Catboost ，因为它针对分类进行了优化。