贝叶斯超参数优化有哪些缺点?

机器算法验证 机器学习 优化 超参数 贝叶斯优化
2022-03-27 03:56:05

我对机器学习和统计还很陌生,但我想知道为什么在学习机器学习来优化算法超参数时,为什么不经常在线提及贝叶斯优化?例如使用这样的框架:https ://github.com/fmfn/BayesianOptimization

超参数的贝叶斯优化是否比网格搜索或随机搜索等技术有任何限制或主要缺点?

1个回答
  1. 结果对代理模型的参数很敏感,这些参数通常固定在某个值;这低估了不确定性;否则,您必须完全贝叶斯并边缘化超参数分布,这可能既昂贵又笨拙。
  2. 在 2 维或 3 维搜索空间中需要十几个样本才能获得一个好的替代曲面;增加搜索空间的维度需要更多的样本
  3. 贝叶斯优化本身依赖于一个优化器来搜索代理曲面,它有自己的成本——这个问题(希望)比原始问题更便宜,但它仍然是一个非凸框约束优化问题(即,难的!)
  4. 估计 BO 模型本身有成本

换句话说,BO 试图将函数评估的数量保持在最低限度,并从每次评估中获得最大的“收益”。如果您正在进行破坏性测试,或者只是进行需要大量时间执行的模拟,这一点很重要。但除了最昂贵的情况外,应用纯随机搜索并收工(或者如果您的问题符合其假设,则为 LIPO。)它可以为您省去许多麻烦,例如优化您的贝叶斯优化程序。