我阅读了有关 SVM 的信息并了解到它们正在解决优化问题,并且最大边距的想法非常合理。
现在,使用内核,他们甚至可以找到非常棒的非线性分离边界。
到目前为止,我真的不知道 SVM(一种特殊的内核机器)和内核机器是如何与神经网络相关的?
考虑一下Yann Lecun的评论=>这里:
kernel methods were a form of glorified template matching
这里也是:
例如,有些人对内核方法感到眼花缭乱,因为它伴随着可爱的数学。但是,正如我过去所说,最终,内核机器是执行“美化模板匹配”的浅层网络。这并没有错(SVM 是一种很好的方法),但它有我们都应该意识到的可怕的局限性。
所以我的问题是:
- SVM 与神经网络有什么关系?浅层网络如何?
- SVM 解决了具有明确定义的目标函数的优化问题,它是如何进行模板匹配的?这里输入匹配的模板是什么?
我想这些评论需要对高维空间、神经网络和内核机器有一个透彻的理解,但到目前为止我一直在尝试并且无法掌握其背后的逻辑。但是注意到两种非常不同的机器学习技术之间的联系肯定很有趣。
编辑:我认为从神经的角度理解 SVM 会很棒。我正在寻找对上述两个问题的全面的数学支持答案,以便真正理解支持向量机和神经网络之间的联系,无论是在线性支持向量机和带有内核技巧的支持向量机的情况下。