机器算法验证 - 每种 SVD 模式解释的每列的变化百分比 - 吾爱随笔录

机器算法验证主成分分析 svd

2022-04-19 03:58:49

我对数据矩阵执行了奇异值分解 (SVD)。每列的平均值为零。可以衡量的分数之一是每种模式解释的总变化的百分比。

评估每列中每种模式解释的变化量的正确方法是什么？

理想情况下，我也想对新数据集使用此度量，即评估这些模式在“未见”数据中解释了多少变化，类似于执行 SVD 的数据。

1个回答

如果你的奇异值分解是那么由第 i 对 SVD 向量（第 i 个 SVD“模式”）解释的总体方差量R 2，其中是奇异值（的对角线）。这也可以计算为 rank-1 重构的范数与原始数据矩阵的范数之比：其中和是列并且

X = {U S V}^{⊤},

$\mathbf X = \mathbf{USV}^\top,$

i

$i$

i

$i$

R^{2} = s_{i}^{2} / \sum_{j} s_{j}^{2}

$R^2 = s_i^2/\sum_j s_j^2$

s_{j}

$s_j$

S

$\mathbf S$

R^{2} = \frac{‖ u_{i} s_{i} v_{i}^{⊤} ‖^{2}}{‖ X ‖^{2}} = \frac{s_{i}^{2}}{\sum_{j} s_{j}^{2}},

$R^2 = \frac{\|\mathbf u_i s_i \mathbf v_i^\top\|^2}{\|\mathbf X\|^2}=\frac{s_i^2}{\sum_j s_j^2},$

u_{i}

$\mathbf u_i$

v_{i}

$\mathbf v_i$

i

$i$

U

$\mathbf U$

V

$\mathbf V$ 相应地（并且所有范数都是 Frobenius 范数）。

列中由模式解释的方差量感兴趣，那么您可以使用相同的方法并将其定义为 rank-1 重建中的范数或该列与原始数据，即其中是列（所以是第个特征，而不是第个数据点）。 $i$ $k$

R^{2} = \frac{‖ u_{i} s_{i} v_{i k} ‖^{2}}{‖ x_{k} ‖^{2}} = \frac{s_{i}^{2} v_{i k}^{2}}{‖ x_{k} ‖^{2}},

$R^2 = \frac{\|\mathbf u_i s_i v_{ik}\|^2}{\|\mathbf x_k\|^2}=\frac{ s_i^2 v_{ik}^2}{\|\mathbf x_k\|^2},$

x_{k}

$\mathbf x_k$

k

$k$

X

$\mathbf X$

k

$k$

k

$k$

其它你可能感兴趣的问题