改变 SVM 中的正则化参数如何改变不可分离数据集的决策边界?视觉答案和/或对限制行为(对于大小正则化)的一些评论将非常有帮助。
SVM 中正则化参数的直觉
数据挖掘
支持向量机
2021-10-14 02:12:23
1个回答
正则化参数 (lambda) 用作赋予错误分类的重要程度。SVM 提出了一个二次优化问题,它寻求最大化两个类之间的边距并最小化错误分类的数量。但是,对于不可分离的问题,为了找到解决方案,必须放宽误分类约束,这是通过设置提到的“正则化”来完成的。
因此,直观地说,随着 lambda 变大,允许错误分类的示例越少(或损失函数中的最高价格)。然后当 lambda 趋于无限时,解决方案趋于硬边距(不允许错误分类)。当 lambda 趋于 0(而不是 0)时,允许的错误分类越多。
这两个和通常较小的 lambdas 之间肯定存在折衷,但不是太小,可以很好地概括。以下是线性 SVM 分类(二进制)的三个示例。
对于非线性核 SVM,这个想法是相似的。鉴于此,对于较高的 lambda 值,过度拟合的可能性较高,而对于较低的 lambda 值,则存在较高拟合不足的可能性。
下图显示了 RBF 内核的行为,让 sigma 参数固定为 1 并尝试 lambda = 0.01 和 lambda = 10
您可以说 lambda 较低的第一个数字比旨在更精确地拟合数据的第二个数字更“宽松”。
(Oriol Pujol 教授的幻灯片。巴塞罗那大学)
其它你可能感兴趣的问题