我对直观地理解 SVM 有一些疑问。假设我们已经使用 SVMLight 或 LibSVM 等标准工具训练了一个用于分类的 SVM 模型。
当我们使用此模型对测试数据进行预测时，该模型会生成一个文件，其中包含每个测试点的“alpha”值。如果 alpha 值为正，则测试点属于第 1 类，否则属于第 2 类。现在，我们可以说具有更大“alpha”值的测试点属于具有“更高”概率的相应类别吗？
与第一个问题类似，当我们训练了 SVM 时。SV 非常靠近超平面。那么这是否意味着 SV 很有可能属于该类别？我们能否将一个点属于一个类的概率与它与“超平面”的距离联系起来？“alpha”值是否代表与“超平面”的距离？
感谢您的输入。
让我首先回答你的一般问题。SVM 不是概率模型。一个原因是它不对应于可归一化的可能性。例如，在正则化最小二乘中，您有损失函数和正则化器。权重向量是通过最小化两者之和获得的。然而，这相当于最大化 w 的对数后验 定数据您可以看到它是上的高斯似然和高斯先验的乘积（确保它规范化）。您可以通过翻转其符号并将其取幂来从损失函数中得到高斯似然。但是，如果您使用 SVM 的损失函数来执行此操作，则对数似然不是可归一化的概率模型。
有人尝试将 SVM 合二为一。最值得注意的是——我认为——也在 libsvm 中实现的是：
John Platt：支持向量机的概率输出和与正则似然方法的比较（NIPS 1999）：http ://www.cs.colorado.edu/~mozer/Teaching/syllabi/6622/papers/Platt1999.pdf
更具体地回答您的问题：SVM 中的想法确实是，测试向量离超平面越远，它就越属于某个类（当然，除非它在错误的一边）。从这个意义上说，支持向量不属于具有高概率的类别，因为它们要么是最接近超平面的一侧，要么位于超平面的错误一侧。您从 libsvm 获得的值与决策函数中无关。它是决策函数的输出（因此应该正确地称为）。由于其中存在于再生核希尔伯特空间中，与到超平面的有符号距离成正比。如果你除以的范数，在内核术语中是。