机器学习中的特征向量是什么样的“向量”?

数据挖掘 机器学习 特征化
2022-01-29 22:22:44

我无法理解在机器学习中使用 Vector 来表示一组特征。

如果查找向量的定义,那么根据维基百科,向量是具有大小和方向的实体。

当将向量应用于例如物理以表示力、速度、加速度等时,可以理解这一点:向量的分量表示物理属性沿空间轴的分量。例如,速度向量的分量表示沿 x、y 和 z 轴的速度

但是,当将向量应用于机器学习来表示特征时,这些特征可能是完全不相关的实体。它们可以有完全不同的单位:一个特征可以是一个人的长度(以米为单位),另一个可以是一个人的年龄(以年为单位)。

但是,这样一个向量的大小是什么意思,然后由米和年的总和形成呢?方向呢?

我确实知道特征的标准化以使它们具有相似的范围,但我的问题更为根本。

3个回答

我无法理解在机器学习中使用 Vector 来表示一组特征。

简而言之,我想说“特征向量”只是谈论一组特征的一种方便方式。


实际上,对于每个标签“y”(待预测),您需要一组值“X”。一种非常方便的表示方法是将值放入向量中,这样当您考虑多个标签时,您最终会得到一个矩阵,每个标签包含一行,每个特征包含一列。

以抽象的方式,您绝对可以认为这些向量属于多维空间,但(通常)不是欧几里得空间。因此所有的数学都适用,只有解释不同!

希望对您有所帮助。

首先让我们谈谈如何组织您的数据。假设您在电子表格中组织您的数据,其中列代表您的特征,而行代表您的不同样本。假设您询问了 3 个人的性别和年龄,然后您得到一个包含 3 行(3 个人)和 2 列(性别、年龄)的电子表格。

现在您可以将每一行解释为单个特征向量。在我们的示例中,特征向量将具有 2 个维度(性别、年龄)。与物理学不同,特征向量的(欧几里德)大小可能对我们没有直接用途,因为维度来自不同的域(相比之下,比较速度向量)。尽管如此,我们可以计算幅度(归一化后)。另一方面,特征向量的方向很重要,因为它代表了特征值本身。

总而言之,不应像在物理学中那样直接解释特征向量。

从数学、物理和计算机科学的角度来看,向量具有透视性。

我建议您观看Grant Sanderson 在他的频道3BLUE1BROWN上关于向量的视频,或者更确切地说,观看他关于ESSENCE OF LINEAR ALGEBRA的整个系列,以便更好地了解线性代数。

谈到特征向量,它们只不过是所有以特定方式排列的特征(个体属性或被观察现象的特征)的集合。 它是代表机器学习算法所需的某些对象的数值特征的 n 维向量。只需浏览我在其中写过关于特征向量的这篇 Wikipedia文章