我是机器学习的初学者。在 SVM 中,分离超平面定义为. 为什么我们说矢量正交于分离超平面?
在 SVM 算法中,为什么向量 w 与分离超平面正交?
数据挖掘
机器学习
支持向量机
2021-10-03 00:00:41
4个回答
在几何上,向量 w 的方向正交于由定义的线 . 这可以理解为:
先拍 . 现在很清楚所有向量,, 内积消失 满足这个方程,即所有与 w 正交的向量都满足这个方程。
现在将超平面从原点平移到向量 a 上。平面方程现在变为:,即我们发现对于偏移量 ,这是向量的投影 到向量上 .
在不失一般性的情况下,我们可以选择垂直于平面,在这种情况下,长度 它表示原点和超平面之间的最短正交距离。
因此向量 被称为与分离超平面正交。
让决策边界定义为 . 考虑要点 和 ,位于决策边界上。这给了我们两个等式:
减去这两个方程给我们 . 请注意,向量 位于决策边界上,它是从 到 . 由于点积 为零, 必须正交于 ,然后到决策边界。
之所以 是超平面的法线是因为我们将它定义为:
假设我们在 3d 空间中有一个(超)平面。让 成为这个平面上的一个点,即 . 因此来自原点的向量 到这点只是 . 假设我们有一个任意点在飞机上。向量连接 和 然后由下式给出:
请注意,此向量位于平面内。
现在让 是平面的法线(正交)向量。所以:
所以:
注意 只是一个数字,等于 在我们的例子中,而 只是 和 是 . 所以根据定义, 与超平面正交。
使用与超平面正交的向量的代数定义:
在分离超平面上,
其它你可能感兴趣的问题