我对 SVM 和感知器之间的区别有点困惑。让我在这里尝试总结一下我的理解,请随时纠正我的错误并填写我遗漏的内容。
感知器不会尝试优化分离“距离”。只要它找到一个将这两个集合分开的超平面,就可以了。另一方面,SVM 试图最大化“支持向量”,即两个最近的相对样本点之间的距离。
SVM 通常尝试使用“核函数”将样本点投影到高维空间以使它们线性可分,而感知器假设样本点是线性可分的。
我对 SVM 和感知器之间的区别有点困惑。让我在这里尝试总结一下我的理解,请随时纠正我的错误并填写我遗漏的内容。
感知器不会尝试优化分离“距离”。只要它找到一个将这两个集合分开的超平面,就可以了。另一方面,SVM 试图最大化“支持向量”,即两个最近的相对样本点之间的距离。
SVM 通常尝试使用“核函数”将样本点投影到高维空间以使它们线性可分,而感知器假设样本点是线性可分的。
支持向量机:
感知器
我们可以看到,SVM 与 L2 正则化感知器的目标几乎相同。
由于目标不同,我们对这两种算法也有不同的优化方案,从可以看出,这是使用二次规划来优化 SVM 的关键原因。
为什么感知器允许在线更新?如果您看到铰链损失的梯度下降更新规则(SVM 和感知器都使用铰链损失),
由于所有机器学习算法都可以看作是损失函数和优化算法的结合。
感知机不过是铰链损失(损失函数)+随机梯度下降(优化)
而 SVM 可以看作是铰链损失 + l2 正则化(损失 + 正则化)+ 二次规划或其他更高级的优化算法,如 SMO(优化)。
感知器是 SVM 的推广,其中 SVM 是具有最佳稳定性的感知器。因此,当您说感知器不尝试优化分离距离时,您是正确的。