为什么决策边界是 (D-1) 维度的?

机器算法验证 机器学习 分类 线性模型
2022-04-01 06:19:42

我在看书Bishop - Pattern Recognition and Machine Learning在第 4 章的第一页中,有一句话说

在本章中,我们考虑用于分类的线性模型,我们的意思是决策面是输入向量 x 的线性函数,因此由 D 维输入空间内的 (D - 1) 维超平面定义。

如果输入向量是D维度的,那么决策边界也应该是D维度的。为什么呢D-1例如,在二维平面中,分隔点的线也是一条二维直线。

我是不是在想什么大错特错的事情?谁能解释一下D-1决策边界的尺寸如何?

2个回答

这条线是二维空间中的一维边界。如果您将自己视为决策边界上的一个点,那么您可以在边界上行驶的(非平行或反平行)方向的数量将是它的维度。使用一条线,您可以前进或后退(与前进反平行),因此只有一个维度。二维平面可以让您前后或左右移动,这使其成为二维。

在下面的图像中,2D 和 3D 输入空间的决策边界以蓝色显示。橙色线说明这些决策边界具有 D1尺寸本身。

在此处输入图像描述

考虑旋转图像。您可以旋转它,使蓝线变为水平线(即超清晰的 1D),但无论您如何旋转它,由黑色轴创建的平面仍将是 2D,如图所示。这是因为蓝线是二维空间中的一维切片:

在此处输入图像描述

我认为@Dan 的答案已经足够了,但是对于有基本线性代数的人来说,这是另一种解释。很明显判别函数f是一个线性变换,边界决策中的向量形成零空间。已知dim(V) = dim(null-space) + dim(f(V)),其中V是输入空间。因为 dim(f(V)) = 1,所以 dim(null-space) = D - 1。