机器算法验证 - 将 PCA 编写为一种特殊的自动编码器 - 吾爱随笔录

将 PCA 编写为一种特殊的自动编码器

机器算法验证主成分分析优化自动编码器

2022-03-24 21:41:22

我想知道是否可以将 PCA 视为一种特定类型的神经网络，但是，有一个主要的绊脚石我还没有克服。

定义以下“具有线性传递/激活函数的单层神经网络”：

n n (x) = W x + b .

$\mathrm{nn}(x) = Wx + b.$ 你会使用什么损失函数或训练方案来获得

n n

$\mathrm{nn}$ 表现得像 PCA？具体来说，是否有一种梯度下降方案似乎至少在实践中可以保证

W

$W$ ? PCA 给出了转换

X \mapsto U Σ

$X \mapsto U\Sigma$ 被定义为

f (\tilde{X}) = \tilde{X} V

$f(\tilde X) = \tilde X V$ 在哪里

X = U Σ V^{*}

$X = U\Sigma V^*$ 是数据矩阵的奇异值分解

X

$X$ .

注意：我写的方式， $x$ 是一个列向量，所以 $x^T$ 是个 $j$ 矩阵的第行（“观察”） $X$ . 所以，一定是这样 $W = V^T$ 并且要么 $b \equiv 0$ [如果没有美白]，或 $b = V^T \mu$ 在哪里 $\mu$ 是列均值的向量 $X$ [如果有美白]。

1个回答

组件的正交性不是您可以反向传播的。您必须更改优化以包括在每次更新后也强制正交性的步骤。这很昂贵，而且结果可能并非处处可微。（这在“批标准化：通过减少内部协变量偏移来加速深度网络训练”中顺便讨论过，Sergey Ioffe 和 Christian Szegedy）

但是，您可以使用线性自动编码器来发现跨越主成分的基础，或者使用非线性自动编码器来获得与非线性 PCA 类似的模拟。

自编码器是一种有效的无监督学习模型，广泛用于深度学习。众所周知，具有单个全连接隐藏层、线性激活函数和平方误差成本函数的自动编码器训练的权重跨越与主成分加载向量跨越的子空间相同的子空间，但它们是与加载向量不同。在本文中，我们展示了如何从自动编码器权重中恢复加载向量。

由 Daniel Kunin、Jonathan M. Bloom、Aleksandrina Goeva、Cotton Seed 撰写的“正则化线性自动编码器的损失景观”进一步发展了这一想法。

自编码器是一种用于表示学习的深度学习模型。当被训练以最小化数据与其重建之间的欧几里得距离时，线性自动编码器 (LAE) 学习由顶部主方向跨越的子空间，但不能学习主方向本身。在本文中，我们证明 $L_2$ - 正则化 LAE 将主方向学习为解码器的左奇异向量，为排名提供了一种极其简单和可扩展的算法- $k$ SVD。更一般地，我们考虑具有 (i) 无正则化，(ii) 编码器和解码器组合的正则化，以及 (iii) 编码器和解码器分别正则化的 LAE。我们将 (iii) 的最小值与概率 PCA 的 MAP 估计联系起来，并表明对于所有关键点，编码器和解码器都是转置的。基于拓扑直觉，我们通过一个新颖的统一框架平滑地参数化所有三种损失的关键流形，并以经验方式说明这些结果。总的来说，这项工作阐明了自编码器和贝叶斯模型之间以及正则化和正交性之间的关系。

其它你可能感兴趣的问题

上一篇冲积图与桑基图下一篇带有交叉验证的 KNN 参数调整：得分抽奖