SVM = 模板匹配如何?

机器算法验证 机器学习 神经网络 支持向量机 深度学习 内核技巧
2022-03-10 08:30:17

我阅读了有关 SVM 的信息并了解到它们正在解决优化问题,并且最大边距的想法非常合理。

现在,使用内核,他们甚至可以找到非常棒的非线性分离边界。

到目前为止,我真的不知道 SVM(一种特殊的内核机器)和内核机器是如何与神经网络相关的?

考虑一下Yann Lecun的评论=>这里

kernel methods were a form of glorified template matching

这里也是

例如,有些人对内核方法感到眼花缭乱,因为它伴随着可爱的数学。但是,正如我过去所说,最终,内核机器是执行“美化模板匹配”的浅层网络。这并没有错(SVM 是一种很好的方法),但它有我们都应该意识到的可怕的局限性。

所以我的问题是:

  1. SVM 与神经网络有什么关系?浅层网络如何?
  2. SVM 解决了具有明确定义的目标函数的优化问题,它是如何进行模板匹配的?这里输入匹配的模板是什么?

我想这些评论需要对高维空间、神经网络和内核机器有一个透彻的理解,但到目前为止我一直在尝试并且无法掌握其背后的逻辑。但是注意到两种非常不同的机器学习技术之间的联系肯定很有趣。

编辑:我认为从神经的角度理解 SVM 会很棒。我正在寻找对上述两个问题的全面的数学支持答案,以便真正理解支持向量机和神经网络之间的联系,无论是在线性支持向量机和带有内核技巧的支持向量机的情况下。

1个回答
  1. SVM 与神经网络有什么关系?浅层网络如何?

SVM 是一个单层神经网络,以铰链损失作为损失函数,并且只使用线性激活。这个概念在之前的线程中已经提到过,例如这个:单层神经网络,RelU 激活等于 SVM?

  1. SVM 解决了具有明确定义的目标函数的优化问题,它是如何进行模板匹配的?这里输入匹配的模板是什么?

Gram Matrix(内核矩阵,如果您愿意的话)是一种相似性度量。由于 SVM 允许稀疏解决方案,因此预测变成了将样本与模板(即支持向量)进行比较的问题。