核函数、卷积中使用的核和矩阵的零空间之间有什么关系?

信息处理 图像处理 卷积 矩阵 线性代数 核心
2022-02-18 10:31:22

我最近开始学习机器学习,并且遇到过内核和零空间。我知道零空间是满足方程 Av = 0(其中 A 是矩阵)的所有向量的集合。我被教导说,零空间是一组向量,当应用变换矩阵 A 时,这些向量被压缩为 0。然后我遇到了使用内核函数的 SVM。我读到零空间也称为矩阵的内核。我的问题如下。

  1. 核函数和空空间是否相同?如果它们是相关的,它们是如何相关的?

  2. SVM中使用的核函数与矩阵的零空间之间有什么关系?如果是,如何?这是从 SVM 中使用的变换的零空间派生的吗?

  3. 内核卷积中使用内核的原因是什么?例如:高斯核是否使用了变换的表示?它们与零空间有什么关系?如果它们是相关的,它们是如何相关的?

你能回答这些问题吗?我很迷茫。先感谢您。

2个回答

数字信号处理上下文中的内核是指脉冲响应h[n]的一个过滤器。特别是对于有限长度的 FIR 核,滤波是由卷积算子进行的;因此滤波器的内核是卷积和的内核。这个内核映射一个输入向量x[n]进入输出向量y[n]IE,

y[n]=h[n]x[n]=k=h[k]x[nk] ,
对于实际的 FIR 卷积,总和被截断为有限长度。

正如您所描述的,线性映射的零空间是向量集x其图像是由矩阵A给出的映射的范围空间中的空向量顾名思义,它是一组向量,而不是核函数(序列)。在这种情况下,唯一的内核是矩阵A,它将输入向量映射到输出向量,就像在卷积算子的上下文中一样。

y=Ax

内核是一个多义词,即使只在数学中也是如此。在代数中,它可以是例如:

还有更多。对于积分运算符,它通常表示一个“常量”对象,变量对象围绕该对象进行积分,例如K在:

f(x)K(x)dx.

正如@Fat32 所说,它可以指用于卷积的掩码(虽然我听到这个名字更多的是图像处理而不是信号),这与上面的积分表达式非常相似。

在统计学习中,就像在算子理论中一样,人们经常提到正定核,它扩展了正定函数或矩阵的概念,可以将高维问题转化为低维问题。

当然,图像处理中的有限差分核不是正定的。但对我来说,内核被用作“以某种方式恒定的东西”的总括概念。

然而,我会更深入地考虑它,可能会有更强的联系。