在支持向量机中使用 Gamma 参数

机器算法验证 机器学习 支持向量机 数据挖掘 libsvm 内核技巧
2022-03-22 09:56:17

使用libsvm时,参数是核函数的参数。它的默认值设置为γ

γ=1number of features.

除了现有的方法(例如网格搜索)之外,是否有任何关于设置此参数的理论指导?

2个回答

我建议以下理论指导。当您使用高斯 RBF 内核时,您的分离表面将基于以每个支持向量为中心的钟形表面的组合。成反比如果此宽度小于数据的最小成对距离,则本质上存在过度拟合。如果此宽度大于数据的最大成对距离,则您的所有点都属于一个类,并且您也没有良好的性能。所以最佳宽度应该在这两个极端之间。γ

不,它本质上取决于数据。如果您只有少量的超参数需要调整,网格搜索(通过对数转换的超参数)是一种非常好的方法,但不要让网格分辨率太精细,否则您可能会过度拟合调整标准。对于大量内核参数的问题,我发现 Nelder-Mead 单纯形法效果很好。