贝叶斯超参数优化，值得吗？

人工智能 深度学习 超参数优化 贝叶斯优化 网格搜索 随机搜索
2021-11-04 11:47:58

在 Goodfellow 等人的《深度学习》一书中，第 11.4.5 节（第 438 页）中，可以找到以下主张：

目前，我们不能明确地推荐贝叶斯超参数优化作为获得更好的深度学习结果或以更少的努力获得这些结果的既定工具。贝叶斯超参数优化有时表现得与人类专家相当，有时更好，但在其他问题上却失败了。可能值得尝试看看它是否适用于特定问题，但还不够成熟或可靠

就个人而言，我从未使用过贝叶斯超参数优化。我更喜欢网格搜索和随机搜索的简单性。

作为第一个近似值，我正在考虑简单的 AI 任务，例如 DNN 和 CNN 的多类分类问题。

在哪些情况下我应该考虑它，是否值得？

1个回答

将 HPO 框架有效地集成到现有项目中并非易事。大多数常见的数据集/任务已经建立了架构/超参数/等。并且只需要一些额外的调整参数。在这种情况下，贝叶斯 HPO 技术带来的好处（假设它们存在）缺乏开发时间（简单性），这是用户更喜欢网格搜索或随机搜索而不是一些更复杂的贝叶斯优化技术的主要原因之一。

对于非常大规模的问题和用户对“良好的超参数”没有直觉的全新任务（或数据集），贝叶斯 HPO 可能是考虑随机或网格搜索的好选择。这是因为可能存在非常大量的超参数（由于领域知识不足），并且将 HPO 集成到项目中可能比网格搜索所有可能的超参数所花费的时间要少得多。

其它你可能感兴趣的问题
上一篇什么是统一的神经网络模型？ 下一篇除了预测（在数学问题的情况下）之外，我们可以使用 ML 做任何其他事情吗？