我正在使用随机搜索来优化机器学习管道的超参数。例如，对于 C 和 gamma 参数，建议使用对数间隔的值。我为什么要使用这样的价值观？例如，如果我使用对数间隔值至，那么附近会有更多的值（即接近零）比接近.
为什么对超参数优化使用对数尺度？
机器算法验证
机器学习
超参数
优化
2022-04-10 12:13:54
1个回答
...因为对数刻度使我们能够快速搜索更大的空间。在您的 SVM 示例中，我们不知道超参数的范围。因此，一种更快的方法是尝试不同的值，例如 1、10、100、1000，它们来自对数刻度。
另外，我认为对数尺度搜索是第一步。假设我们发现 C=10 优于 C=1 或 C=100；然后我们可以专注于该规模以尝试更好的价值。
另一个原因是“正则化”参数，例如 svm 中的 C。它不太敏感。换句话说，我们可能发现与 10 或 15 或 20 没有太大差异，但从 10 到 1000 的结果会非常不同。这就是我们从日志搜索开始的原因。