一些参考书提供了一个解释：

• Scholarpedia 中描述的神经学解释
• 斯坦福的无监督特征学习和深度学习教程

如果我们在字典学习的上下文中查看该术语的定义，例如在K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation中，该术语的定义是：

稀疏编码是基于给定信号\mathbf y和字典\mathbf D计算表示系数\mathbf x的过程。$\mathbf x$$\mathbf y$$\mathbf D$

所以稀疏编码是在给定字典中找到给定信号的稀疏表示的操作。关于压缩感知，在我看来，这似乎是对该术语最相关的解释。因此，稀疏编码与压缩感知密切相关，但压缩感知专门处理为未确定的线性方程组找到最稀疏的解，如理论所示，在这种情况下，该解很有可能是正确的解。稀疏编码在某种意义上更普遍，因为它不一定处理一组未确定的方程。

正如您正确指出的压缩感知，压缩采样，稀疏采样都意味着同一件事。一些作者也称其为稀疏传感。压缩感知背后的想法是可以从很少的线性测量中恢复稀疏信号。在符号中，如果是稀疏向量，并且是一个矩阵，其中，我们测量，然后压缩感知理论告诉我们我们可以从$\mathbf x$$N\times 1$$^\ddagger$$\mathbf A$$M\times N$$M\ll N$$\mathbf y=\mathbf{Ax}$$^\dagger$$\mathbf x$$\mathbf y$. 这很了不起，因为它表明我们可以从更少的测量中恢复原始信号。

另一方面，字典学习处理的是一个完全不同的问题，即以简约的方式表示一堆数据向量。给定一组数据向量，我们想找到另一组向量（称为“原子”）使得每个数据向量可以表示为这些的线性组合。这组原子称为字典。这里的目标是学习一个远小于数据向量数量的字典即。$\{\mathbf x_1, \mathbf x_2,\ldots, \mathbf x_K\}$$\{\mathbf v_1, \mathbf v_2,\ldots, \mathbf v_L\}$$\mathbf x_i$$\mathbf v_j$$^*$$L < K$

给定字典中的一组原子和一个向量，稀疏编码的目标是将表示为尽可能少的原子的线性组合。$\mathbf y$$\mathbf y$

最后，稀疏字典学习是字典学习和稀疏编码的结合。这里的目标有两个：找到一组数据向量的简约表示，并确保每个数据向量可以写成尽可能少的原子的线性组合。

Compressed Sensing v/s Sparse Coding
这两种技术都涉及寻找稀疏表示，但存在细微差别。

压缩传感专门处理求解欠定线性方程组的问题，即比原始信号更少的数据点。从一个未知的稀疏信号和传感矩阵，我们观察到数据向量。的行数少于列数。压缩感知理论处理以下类型的问题：$\mathbf x$$\mathbf A$$\mathbf y = \mathbf{Ax}$$\mathbf A$

1. 在什么条件下，未确定的线性方程组是可解的，我们如何以抗噪、计算上易于处理的方式求解它？

2. 我们如何为各种应用$\mathbf A$

相反，稀疏编码不处理设计的问题。此外，您对求解欠定方程组不感兴趣 ---允许行多于列。$\mathbf A$$\mathbf A$$^\%$

参考：

压缩感知【讲义】

字典学习

稀疏编码的在线字典学习

脚注：

$^\ddagger$稀疏表示向量的非零元素非常少。

$^\dagger$ $\mathbf A$和需要满足一些技术条件。$M$

$^*$与傅里叶变换等标准变换方法不同，字典学习是数据自适应的。当进行傅里叶变换时，基向量是提前固定的（复指数）。在字典学习中，它们是从数据中学习的。$\mathbf v_j$

$^\%$这称为过完备字典。