自动编码器尝试重建输入。在此过程中，如果隐藏层的大小大于输入的数量，它可以学习恒等函数。然而，这是不可取的。

在学习过程中，自动编码器会发现输入中最常见的特征。例如，如果输入是自然图像，它会发现边缘，因为它是所有自然图像中最常见的特征。

在最简单的情况下，自动编码器的隐藏单元比其输入层少。随着隐藏单元的添加，它可以征集更多特征来表示输入。然而，随着隐藏单元的数量超过输入单元的数量，特征变得越来越依赖。当隐藏层被密集激活时，自动编码器可以发现这些特征。

稀疏性限制了隐藏单元的激活，从而减少了特征之间的依赖性。这使我们能够增加特征的数量，这是可取的。

Autoencoder 是一个 NN 版本的 POD

稀疏性源于“复杂性背后的规律很简单”的假设。而你的工作是通过改变你的权重来尝试找到最简单的那个。