我和我的同事正试图弄清楚逻辑回归和 SVM 之间的区别。显然，他们正在优化不同的目标函数。SVM 是否像说它是一个简单地优化铰链损失的判别分类器一样简单？还是比这更复杂？支持向量如何发挥作用？松弛变量呢？为什么你不能拥有深度 SVM，就像你不能拥有具有 sigmoid 激活函数的深度神经网络一样？
SVM 和铰链损失之间有什么关系？
数据挖掘
支持向量机
逻辑回归
铰链损失
2021-09-15 05:47:46
1个回答
它们都是判别模型，是的。逻辑回归损失函数在概念上是所有点的函数。正确分类的点对损失函数的影响很小，如果它们靠近边界则增加更多。因此，边界附近的点对损失更重要，因此决定了边界的好坏。
SVM 使用铰链损失，它在概念上将重点放在边界点上。由于函数中的“铰链”（最大值），任何比最近点更远的东西都不会对损失造成任何影响。简单地说，那些最近的点就是支持向量。因此，它实际上简化为选择创建最大边距的边界 - 到最近点的距离。该理论认为，边界情况对于泛化来说才是真正重要的。
缺点是铰链损失是不可微的，但这只是意味着需要更多的数学来发现如何通过拉格朗日乘数对其进行优化。它并不能真正处理数据不是线性可分的情况。松弛变量是一种技巧，可以将这种可能性完全纳入优化问题。
您可以将铰链损失与“深度学习”一起使用，例如http://arxiv.org/pdf/1306.0239.pdf
其它你可能感兴趣的问题