理论上，当您使用非线性 SVM 时，您可能会受到选择类线性可分的空间的激励。然而，最近的 SVM 并没有要求可分离性：松弛变量允许对某些示例进行错误分类，但会以损失函数和边际衡量的整体更好解决方案为代价。优化问题的凸性与线性可分性无关。

多层神经网络允许相同的想法：非线性允许更灵活的分离，由损失函数和正则化器测量。它允许您捕获（诱导的，不一定是真实的）输入空间中非线性的类边界。

这取决于神经网络中的激活函数。在解码阶段具有单个输出节点和 Sigmoid 激活函数的两层神经网络在要学习的函数形式方面等价于具有 Sigmoid 核的 SVM 分类器。因此，正如@BenAllison 所提到的，神经网络还可以为您提供输入空间中的非线性边界。另一方面，感知规则仅适用于线性可分的数据（这在某种程度上等同于具有线性核的 SVM），因为感知只是输入和权重的线性组合（在应用符号之前），但没有Sigmoid 解码阶段。

请注意，SVM 和神经网络之间的区别在于它们如何决定这些参数应该设置为什么。