协方差作为内积

数据挖掘 统计数据 数据分析
2021-09-30 21:07:13

如果一个向量没有投影到另一个向量上,为什么将协方差视为内积?

现在我认为这只是乘以x向量段(xix¯) 和y分割(yiy¯) 的同一向量,以了解关系的方向。

1个回答

定义

可以在两个向量上定义内积(AKA 点积和标量积) xy Rn 作为

x.xT=<x,y>Rn=<y,x>Rn=i=1nxi×yi

内积可以看作是一个向量到另一个向量的投影长度,它被广泛用作两个向量之间的相似性度量。

内积还具有以下性质

两个随机变量的协方差XY可以定义为

E[(XE[X])×(YE[Y])]

协方差具有可交换、双线性和正定的性质。

这些属性意味着协方差是向量空间中的内积,更具体地说是商空间

与内核技巧的关联

如果您熟悉支持向量机,您可能熟悉内核技巧,您可以将两个向量的内积隐式计算到映射空间中,称为特征空间如果没有执行映射,您可以将内积计算到甚至可能是无限维空间中,因为有了这个映射。

要执行该内积,您需要找到一个称为核函数的函数,该函数可以执行该内积,而无需显式映射向量。

要使核函数存在,它需要具有以下属性:

  • 它必须是对称的
  • 它必须是正定的

这对于一个功能来说是充分和必要的 κ(x,y) 被认为是任意向量空间中的内积 H.

作为协方差,遵守这个定义,它是一个核函数,因此它是向量空间中的一个内积。