我知道逻辑回归找到了一个分离训练样本的超平面。我也知道支持向量机找到具有最大边距的超平面。
我的问题：逻辑回归 (LR) 和支持向量机 (SVM) 之间的区别是 LR 找到任何分离训练样本的超平面，而 SVM 找到具有最大边距的超平面？还是我错了？
注意：回想一下，在 LR 中，当时，逻辑函数给出。如果我们假设作为分类阈值，则是超平面或决策边界。
逻辑回归和支持向量机的区别？
机器算法验证
机器学习
分类
支持向量机
数据挖掘
2022-01-31 23:34:22
1个回答
如果您在谈论硬 SVM 并且这两个类是线性可分的，那么您是对的。LR 找到任何将这两个类分开的解决方案。硬 SVM 在所有可能的具有最大余量的解决方案中找到“那个”解决方案。
在软 SVM 和类不是线性可分的情况下，稍作修改仍然是正确的。误差不能为零。LR 找到一个对应于某个误差最小化的超平面。软 SVM 试图最小化误差（另一个误差），同时通过正则化参数将该误差与边际进行权衡。
两者之间的一个区别：SVM 是一种硬分类器，而 LR 是一种概率分类器。SVM 是稀疏的。它选择在两个类之间具有最大区分能力的支持向量（从训练样本中）。由于它在测试时没有保留其他训练点，因此我们对这两个类中的任何一个的分布一无所知。
我已经解释了在两个类线性可分的情况下 LR 解决方案（使用 IRLS）如何中断，以及为什么在这种情况下它不再是概率分类器：https ://stats.stackexchange.com/a/133292/66491
其它你可能感兴趣的问题