我认为基本的支持向量机意味着硬边距 SVM。那么，让我们回顾一下：

什么是硬边距 SVM

简而言之，我们希望找到一个边距最大的超平面，它能够在我们的训练样本空间中正确地分离所有观察值。

硬边距支持向量机中的优化问题

鉴于上述定义，我们需要解决的优化问题是什么？

1. 最大边距超平面：我们想要max(margin)
2. 能够正确分离所有观察：我们需要优化margin并满足约束：没有样本内错误

当我们在非线性可分数据上训练线性 SVM 时会发生什么？

回到您的问题，由于您提到训练数据集不是线性可分的，因此通过使用没有特征转换的硬边距 SVM，不可能找到任何满足 "No in-sample errors" 的超平面。

通常，我们通过二次规划来解决 SVM 优化问题，因为它可以做有约束的优化任务。如果你使用梯度下降或其他不满足硬边距 SVM 约束的优化算法，你仍然应该得到结果，但这不是硬边距 SVM 超平面。

顺便说一句，对于非线性可分数据，通常我们选择

• 硬边距 SVM + 特征转换
• 直接使用 soft-margin SVM （在实际中，soft-margin SVM 通常会得到很好的结果）