机器算法验证 - 是否总是可以从给定的内核中找到特征图？ - 吾爱随笔录

是否总是可以从给定的内核中找到特征图？

机器算法验证高斯过程内核技巧特征工程

2022-03-22 07:44:08

机器学习/统计中使用的每个正定核的点积的等效表示，即 $k(x, x')$ $\phi(x)$

\begin{aligned} k (x, x^{'}) = ϕ (x)^{T} ϕ (x^{'}) \end{aligned}

$\begin{align} k(x, x') = \phi(x)^T\phi(x') \end{align}$

我的问题是给了一个核表达式，是不是总能找到对应的特征图？例如，我们知道高斯核对应的特征图是一个无限维向量。（高斯核的特征图）

欢迎任何指针（包括研究论文）。

1个回答

简短的回答：这取决于您所指的 find 以及您正在查看的内核的确切类型。在许多情况下，您可以证明这样一个特征图的抽象存在，但在实践中，“写下来”总是很困难，而且通常是不可能的。此外，这些结构在数学上是微妙的。您需要小心技术假设。

背景

让您的内核定义为（域很重要！）。从某种意义上说，有很多特征图，特征图是将嵌入到合适的希尔伯特空间中。当然，总会有规范的特征图：从等式的右侧判断，您正在寻找一个不同的特征图，它映射到“向量”，即的平方可和序列的希尔伯特空间又名“ $K:\Omega\times\Omega\rightarrow\mathbb{R}$ $\Omega$ $\Phi:\Omega\rightarrow\mathbb{R}^\Omega, x\mapsto K(x,\cdot).$ $l^2$ $<x,x>=\sum_i x_i x_i$ $x^Tx".$

默瑟定理

获得这种特征图的关键事实是 Mercer 定理（参见 [1] 中的定理 4.49）。如果你的内核是连续的并且它的定义域紧凑，那么在平方可积函数是所谓的希尔伯特-施密特算子。这些算子的理论告诉我们，存在一个可数的函数族，它跨越，因此可以将核写为当然，这正是您正在寻找的特征图。 $K$ $\Omega$

M_{K} : L^{2} (Ω) \to L^{2} (Ω), f \mapsto \int_{Ω} f (t) K (t, \cdot) d t

$M_K: L^2(\Omega) \rightarrow L^2(\Omega), f\mapsto \int_\Omega f(t)K(t,\cdot)dt$

ϕ_{i} : Ω \to R

$\phi_i:\Omega\rightarrow\mathbb{R}$

L^{2} (Ω)

$L^2(\Omega)$

K

$K$

K (x, y) = \sum ϕ_{i} (x) ϕ_{i} (y),

$K(x,y) = \sum \phi_i(x)\phi_i(y),$

其他方面

要明确找到，您需要找到积分方程的所有解。一般来说，这很难（或不可能）。 $\phi_i$ $M_K(\phi)=\lambda \phi$
即使是这种特殊的特征图也不是唯一的。将有其他家庭也允许这样的表示。 $\psi_i$
特征图不仅取决于 Kernel，还取决于其域。 $K$ $\Omega$

[1]：英戈·斯坦沃特；Andreas Christmann “支持向量机”

其它你可能感兴趣的问题

上一篇RFE 与反向消除 - 有区别吗？下一篇使用混合效应模型进行推理时，可以认为多少比例的缺失数据是可接受的