机器算法验证 - 在 Kernel PCA 中获得的特征向量是正交的吗？ - 吾爱随笔录

在 Kernel PCA 中获得的特征向量是正交的吗？

机器算法验证主成分分析内核技巧

2022-03-24 04:24:18

由于 Kernel PCA 与高维空间中的 PCA 相同，因此获得的特征向量不应该是正交的吗？

假设我有数据点，设和是映射数据协方差矩阵的两个特征向量，和是对应的特征向量核 PCA 问题（通过对核矩阵进行特征分析获得）。那么和可以写成输入数据的线性组合，即 and $n$ $a$ $b$ $\alpha \in \mathbb{R}^n$ $\beta \in \mathbb{R}^n$ $K$ $a$ $b$

a = \sum_{i = 1}^{n} α_{i} ϕ (x_{i})

$a = \sum_{i=1}^n \alpha_i \phi(x_i)$

b = \sum_{j = 1}^{n} β_{j} ϕ (x_{j}) .

$b = \sum_{j=1}^n \beta_j \phi(x_j).$

它们的内积是：

⟨ a, b ⟩ = ⟨ \sum_{i = 1}^{n} α_{i} ϕ (x_{i}), \sum_{j = 1}^{n} β_{j} ϕ (x_{j}) ⟩ = \sum_{i = 1}^{n} \sum_{j = 1}^{n} α_{i} β_{j} K_{i j} .

$\langle a,b \rangle \,=\, \left\langle \sum_{i=1}^n \alpha_i \phi(x_i) ,\sum_{j=1}^n \beta_j \phi(x_j)\right\rangle \, = \, \sum_{i=1}^n\sum_{j=1}^n \alpha_i \beta_j K_{ij}.$

为什么这个值为零？

1个回答

是的，它们是正交的。要查看最后一个表达式是否等于 0，请将其写成矢量符号：因为和是的两个不同特征向量。这是一个标准的线性代数结果：

\sum_{i, j = 1}^{n} α_{i} β_{j} K_{i j} = α^{⊤} K β = 0,

$\sum_{i,j=1}^n \alpha_i \beta_j K_{ij} = \boldsymbol \alpha^\top \boldsymbol K \boldsymbol \beta=0,$

α

$\boldsymbol \alpha$

β

$\boldsymbol \beta$

K

$\boldsymbol K$

K α = λ_{1} α, K β = λ_{2} β \Rightarrow β^{⊤} K α = β^{⊤} λ_{1} α = (β^{⊤} λ_{1} α)^{⊤} = α^{⊤} λ_{1} β = \frac{λ_{1}}{λ_{2}} α^{⊤} λ_{2} β = \frac{λ_{1}}{λ_{2}} α^{⊤} K β = \frac{λ_{1}}{λ_{2}} (α^{⊤} K β)^{⊤} = \frac{λ_{1}}{λ_{2}} β^{⊤} K α,

$\boldsymbol K \boldsymbol \alpha = \lambda_1 \boldsymbol \alpha,\, \boldsymbol K\boldsymbol \beta = \lambda_2 \boldsymbol \beta \\ \Rightarrow \boldsymbol \beta^\top \boldsymbol K\boldsymbol \alpha = \boldsymbol \beta^\top \lambda_1 \boldsymbol \alpha = (\boldsymbol \beta^\top \lambda_1 \boldsymbol \alpha)^\top = \boldsymbol \alpha^\top \lambda_1 \boldsymbol \beta = \frac{\lambda_1}{\lambda_2}\boldsymbol \alpha^\top \lambda_2 \boldsymbol \beta = \frac{\lambda_1}{\lambda_2}\boldsymbol \alpha^\top \boldsymbol K\boldsymbol \beta = \frac{\lambda_1}{\lambda_2}(\boldsymbol \alpha^\top \boldsymbol K\boldsymbol \beta)^\top = \frac{\lambda_1}{\lambda_2}\boldsymbol \beta^\top \boldsymbol K\boldsymbol \alpha,$ 所以如果那么

λ_{1} \neq λ_{2}

$\lambda_1 \ne \lambda_2$

β^{⊤} K α = α^{⊤} K β = 0

$\boldsymbol \beta^\top \boldsymbol K\boldsymbol \alpha=\boldsymbol \alpha^\top \boldsymbol K\boldsymbol \beta=0$ 。

但是请注意，目标空间中的协方差矩阵通常甚至无法定义，因为目标空间可以是无限维的（例如，高斯核就是这种情况）。这意味着你的和可以是无限维的，使得上述计算有些草率......我认为更重要的是，和是正交的 - 这意味着内核 PC 的相关性为零。有关更多详细信息，请参阅我的答案：Kernel PCA with linear kernel 是否等同于标准 PCA？ $\mathbf a$ $\mathbf b$ $\boldsymbol \alpha$ $\boldsymbol \beta$

其它你可能感兴趣的问题

上一篇因变量多，样本少：这是“大pp，小 ”的问题？nn 下一篇我应该使用哪个统计数据来对标称数据、多重响应的评分者间达成一致