权重向量形式是否暗示特征空间曲率?

人工智能 权重 特征
2021-10-20 09:57:02

我在探索使用欧几里得距离(链接)的简单最近邻分类器方法时遇到了这句话

使用欧几里得距离比较特征的稍微奇怪的是,每个维度(或特征)都使用相同的比例进行比较。

这让我开始思考——如果平面特征空间意味着每个特征对距离的贡献相等(得分函数),那么弯曲特征空间会改变特征之间的比例,这样特征就会对得分函数贡献不同的数量。例如,假设我们有一个 2D 特征空间——一张平面纸——有两个点,X1X2在它上面,我们希望计算它们之间的距离。如果我们然后将其沿 y 轴弯曲成 U 形(因此,在 y 维度中没有引入曲率),在弯曲情况下沿 x 轴的距离将比在平面情况下更大:

在此处输入图像描述

换句话说,特征 x 对评分函数的贡献大于特征 y。这听起来非常像用权重向量对特征输入进行加权。这是否意味着权重向量(和矩阵)对特征空间的曲率有直接影响?单位权重矩阵(或全为 1 的向量)是否意味着我们的特征空间是平坦的(否则是弯曲的)?最后,是否可以说,每当我们训练 ML 模型时,我们实际上是在学习我们希望建模的特征空间的近似曲率?

1个回答

不,它没有考虑曲率。但是,如果曲率对您很重要,那么,看看 Ricci 流及其在神经网络中的应用将是一个好主意。