机器算法验证 - 我在哪里可以阅读 scikit-learn 中 SVM 中的伽马系数？ - 吾爱随笔录

我在哪里可以阅读 scikit-learn 中 SVM 中的伽马系数？

机器算法验证支持向量机 scikit-学习

2022-03-30 11:04:01

Scikit 学习支持向量机算法有几个系数，这意味着我无法理解。

伽玛：浮动，可选（默认=0.0）

'rbf'、'poly' 和 'sigmoid' 的核系数。如果 gamma 为 0.0，则将使用 1/n_features 代替。

和

coef0：浮动，可选（默认=0.0）

核函数中的独立项。它仅在“poly”和“sigmoid”中有意义。

我试图在支持向量机中搜索 gamma，但没有找到任何相关信息。谁能解释一下这些参数的含义以及它们的合理价值。

1个回答

RBF核函数如下，对于两个向量 $\mathbf{u}$ 和 $\mathbf{v}$ ：

κ (u, v) = \exp (- γ ‖ u - v ‖^{2}) .

$\kappa(\mathbf{u},\mathbf{v}) = \exp(-\gamma \|\mathbf{u}-\mathbf{v}\|^2).$ 超参数用于配置对特征向量差异的敏感度，这又取决于输入空间维数和特征归一化等各种因素。

γ

$\gamma$

如果你将设置得太大，你最终会过拟合。在极限情况下，核矩阵变成了导致训练数据完美拟合的单位矩阵，尽管是一个完全无用的模型。 $\gamma$ $\gamma\rightarrow\infty$

的最佳值完全取决于您的数据，任何经验法则都应以一磅盐为准。也就是说，您可以使用专门的库来为您优化超参数（例如Optunity (*)），对于带有 RBF 内核的 SVM 是和。您可以在此处找到使用 Optunity 和 scikit-learn 自动优化这些参数的示例。 $\gamma$ $\gamma$ $C$

^{(*) 免责声明：我是 Optunity 的首席开发人员。}

其它你可能感兴趣的问题

上一篇为什么在 aov 模型中更改协变量的顺序时 p 值的显着性会发生变化？下一篇可以使用 scikit-learn 进行多输出、svr 或 gbm 的回归吗？