我在各种博客文章、论文等中都看到了这个声明，这个声明对我来说很直观，但是我很难找到一篇有实际证据的论文。
我想人们可以将其视为 Kernel PCA 的一个案例，但对我来说，每个神经网络模型都会自动满足内核函数的要求并不明显。此外，还有一些论文是在 Kernel PCA 论文之前发表的。我还假设需要修改训练算法来学习实际的主成分。
有没有我忽略的经典作品？
是否有正式的证据证明自动编码器执行非线性 PCA？
机器算法验证
神经网络
主成分分析
自动编码器
2022-04-18 18:35:02
1个回答
没有正式的证明，因为断言是错误的：自动编码器不执行非线性 PCA。
PCA 被定义为一个（可逆）线性变换到一个变量现在是正交的空间，该空间捕获最大方差。自动编码器通常不会这样做。
线性自动编码器维瓶颈通常会收敛到由第一主成分。但是请注意，正交部分已被丢弃。
非线性 PCA 主要是内核 PCA。这需要一个特定的空间：一个由选择的内核定义的空间。非线性自动编码器，大多数情况下（我确信有例外）不使用内核，而是直接对局部空间进行建模。因此，从本质上讲，它们不是在执行非线性 PCA，而是在执行非线性降维。
其它你可能感兴趣的问题