让我从支持向量机的共同发明者 Isabelle Guyon的一句话开始：

当时，每个人都在研究多层感知器（深度学习的祖先），而我在最优边距算法方面的第一个工作只是一些主动集方法来扩大它们的边距，受“minover”的启发。我的丈夫 Bernhard Boser 甚至为 MLP 制作专用硬件！我与弗拉基米尔·瓦普尼克（Vladimir Vapnik）进行了激烈的讨论，他与我共用办公室，并正在推动他在 1960 年代发明的另一种最佳保证金算法。

支持向量机的发明发生在伯恩哈德决定在我们搬到伯克利之前的三个月内实施弗拉基米尔的算法时。

或者，更“官方”：

SVM 是由 V. Vapnik 和他的团队（AT&T 贝尔实验室，1985 年）开发的一种学习技术，可以看作是训练多项式、神经网络或径向基函数分类器的一种新方法。

[E。Osuna、R. Freund 和 F. Girosit：“训练支持向量机：人脸检测的应用”。IEEE计算机学会计算机视觉和模式识别会议论文集，130-136，1997]

但是，整个历史当然更长，也更复杂。下面我提供一个非常简短的时间表，作为一个简短的概述：

• 1958 年，Rosenblatt 提出了第一个生物驱动的人工神经网络 [F. Rosenblatt：“感知器：大脑中信息存储和组织的概率模型”。心理评论, 65(6):386-408]

• 1964 年，Vapnik 和 Chervonenkis 提出了训练感知器的最大边际标准 [V. Vapnik 和 A. Chervonenkis：“关于一类感知器的注释”。自动化和远程控制, 25(1):112-120]

• 同样在 1964 年，Aizerman、Braverman 和 Roznoer 介绍了将核（“势函数”）解释为特征空间中的内积，并证明“感知器可以被认为是势函数方法的实现”[MA Aizerman, EM Braverman 和 LI Roznoer：“模式识别学习中势函数法的理论基础”。自动化和远程控制, 25(12):821-837]

• 1969 年，Minsky 和 ​​Papert 出版了他们的书《感知器：计算几何导论》，并展示了（单层）感知器的局限性。

• 1986 年，Rumelhart、Hinton 和 Williams（重新）发明了反向传播算法并使多层感知器（“前馈神经网络”）中的学习成为可能 [DE Rumelhart、GE Hinton 和 RJ Williams：“通过反向学习表示-传播错误”。自然323（6088）：533–536]。

• 1992 年，Boser、Guyon 和 Vapnik（引言中的三人）提出了我们现在所说的“支持向量机”。他们指出：“该技术适用于各种分类功能，包括感知器 [...]” [BE Boser、IM Guyon 和 VN Vapnik：“最优边距分类器的训练算法”。计算学习理论（COLT'92）第五届年度研讨会论文集，144-152]