在 Scikit learn 中,有没有可以替代 L-BFGS-B 算法进行超参数优化的替代方法?

数据挖掘 Python scikit-学习 回归 超参数 超参数调整
2022-02-27 14:19:48

高斯过程回归可以在 scikit learn 中使用 GaussianProcessRegressor 类的对象计算为:

 gp= GaussianProcessRegressor(alpha=1e-10, copy_X_train=True,
    kernel=1**2 + Matern(length_scale=2, nu=1.5) + WhiteKernel(noise_level=1),
    n_restarts_optimizer=0, normalize_y=False,
    optimizer='fmin_l_bfgs_b', random_state=None)

在这里,我们看到 L-BFGS-B 算法已被用于优化超参数。sklearn 中是否有此算法可用的替代方法(例如信任区域反射算法)?

编辑提供了一些受约束的多变量优化方法。是否有这样的功能可用于其他方法,如信任区域反射算法和群体智能(例如萤火虫算法)?

1个回答

Scikit-learn 包的优化器选择有限。scipy包有更多优化,包括trust-region-reflective algorithm您将不得不为 Firefly algorithm 使用另一个第三方包