ep-SVR 和 nu-SVR(以及最小二乘 SVR)之间的区别

机器算法验证 回归 支持向量机
2022-02-14 01:59:04

我试图找出适合这种数据的 SVR。

我知道 4 种类型的 SVR:

  • ε
  • 最小二乘和
  • 线性的。

我了解线性 SVR 或多或少类似于 L1 Reg 的套索,但其余 3 种技术有什么区别?

3个回答

-SVR 中,参数用于确定您希望在解决方案中保留的支持向量数量与数据集中样本总数的比例。 -SVR 中,参数被引入优化问题公式,并为您自动(最优)估计。νννϵ

但是,在 -SVR 中,您无法控制数据集中有多少数据向量成为支持向量,可能是少数,也可能很多。尽管如此,您将完全控制您将允许您的模型有多少错误,并且超出指定的任何内容都将按正则化参数的比例受到惩罚。ϵϵC

根据我的需要,我在两者之间进行选择。如果我真的迫切需要一个小的解决方案(更少的支持向量),我会选择 -SVR 并希望获得一个不错的模型。但如果我真的想控制模型中的错误量并获得最佳性能,我会选择 -SVR 并希望模型不太复杂(大量支持向量)。νϵ

-SVR 和 -SVR之间的区别在于训练问题的参数化方式。两者都在成本函数中使用了一种铰链损失。 -SVM 中的参数可用于控制结果模型中支持向量的数量。给定适当的参数,就可以解决完全相同的问题。1ϵννν

最小二乘 SVR 与其他两个的不同之处在于在成本函数中使用平方残差而不是铰链损失。

1:C.-C。Chang和C.-J。林。训练 -支持向量回归:理论和算法ν神经计算,14(8):1959-1977,2002。

我喜欢 Pablo 和 Marc 的答案。补充一点:

在 Marc 引用的论文中写道(第 4 节)

可能并不容易 的可能范围感兴趣。正如预期的那样,结果表明与目标值有关的。νϵϵϵy

[...]

由于的有效范围受目标值的影响,解决 -SVM 这个困难的一种方法是在训练数据之前缩放目标值。例如,如果所有目标值都缩放为,则的有效范围将为的有效范围相同那么选择可能会更容易。”ϵyϵ[1,+1]ϵ[0,1]νϵ

这让我想到,缩放目标变量并使用 -SVR 应该比尝试决定是使用还是 SVR 更容易。ϵϵν

你怎么看?