请记住，自动编码器正试图提出数据的最佳汇总/压缩（隐藏/延迟）表示，以使重构误差最小化。这可以用以下等式表示：

$$\min_{\hat{x} \in \mathcal{F}} \frac{1}{n} \sum^{n}_{t=1} cost(x^{(t)}, \hat{x}^{(t)} )$$

其中$\hat{x}^{(t)} = \hat{x}(x^{(t)})$是数据点$t$的重建，$\mathcal{F}$是我们正在考虑的函数空间和$cost$是您选择的一些成本/距离函数。

如果您选择像多层神经网络这样强大的模型，它是一种通用逼近器，那么这意味着您基本上可以复制您获得的任何输入数据。因此，上述问题的解决方案可能变得空洞和琐碎，因为您的神经网络可能会学习恒等映射：

$\hat{x}^{(i)} = \hat{x}(x^{(i)}) = x^{(i)}$

如果您的成本函数在。对于许多常用的成本函数来说，这可能是正确的，比如欧几里得距离。例如：$cost(x^{(t)}, \hat{x}^{(t)} ) = cost(x^{(t)}, x^{(t)} )$

$$\min_{\hat{x} \in \mathcal{F}} \frac{1}{n} \sum^{n}_{t=1} \frac{1}{2} \| x^{(t)} - \hat{x}^{(t)} \|^2_{2}$$

当时为零。$x^{(t)} - \hat{x}^{(t)} = 0 \iff x^{(t)} = \hat{x}^{(t)}$

因此，如果对您正在考虑的函数空间没有任何进一步的限制，您将不会学习有意义的数据压缩/隐藏表示（因为您的系统/算法太强大并且基本上是一种“过度拟合”）。

要求稀疏解决方案只是解决此问题的一种方法。它只是对您给定的问题强加先验，以便您获得有意义的解决方案。直观地说，它类似于解决“没有免费午餐”的问题。没有某种先验，很难得到有用的东西。