稀疏性概念广泛用于计算机视觉和图像处理。想法是自然图像在转换为不同的基础时可能非常稀疏。这个基础可以是预定义的，例如 FFT、DCT，或者可以从图像中学习，例如稀疏编码。

以下是一些众所周知的在图像上使用稀疏假设的算法示例：

1. Jpeg 图像压缩：使用 DCT 变换。假设自然图像中的高频较低，因此将它们移除以保留压缩空间。查看更多关于维基百科的信息
2. 稀疏编码：是一种正在使用的技术，它假设图像具有大量冗余信息，因此可以从过度完整的字典中重建。图像中的每个补丁都应该是字典中的稀疏组合。参见稀疏表示表示介绍
3. 计算机视觉中的逆问题，如恢复嵌入噪声的图像和从模糊图像中恢复清晰的图像，也使用稀疏假设，例如小波收缩被用于图像去噪。在此处查看小波变换的应用

稀疏性涵盖了广泛的概念。它表征了一个对象（一个信号、一个系统、一个函数），它们存在一个表示（精确或近似），其维度（参数数量、自由度）远低于对象的固有维度。例如，让我们首先考虑 1.000.000 点$(x_i,y_i)$, 用于衡量两个连续变量之间的关系$X$和$Y$. 它们在平面上完全对齐。它们可以建模为一条直线$ax+b$，只有两个参数，远低于初始点的数量。在某种程度上，点集（及其关系）承认确定性稀疏表示。当您（以随机方式）将一组随机值建模为参数可能定律时，会出现类似的现象，例如具有均值和标准差的高斯。

其次，考虑化学混合物的测量系统。一个好的测量可以提供混合物中每个原子/分子的浓度，在给定的指数下，每个原子/分子的代表（一种特征）。产生的信号将在分子存在的每个索引处由正量（与浓度相关）构成，而在其他地方则为零。很多分析化学方法（色谱、红外光谱、拉曼等）都致力于此目的，如下图顶部所示的质谱信号所示：信号在很多地方为零，少数地方的非零峰。

当然，现实更复杂，峰也没有那么窄，如下图所示。然而，仍然感觉失真的稀疏信号具有比高值分量更多的小值。如果您将数据从最高值传递到最低值，您将获得数据的渐进式渲染，第一个高幅度具有高信息含量。

在这里，我们开始将稀疏性的概念扩展到可压缩性的概念：高值（在某些领域）产生数据的忠实表示，或高信息量。请注意，到目前为止，忠诚度或信息还没有得到很好的定义。我稍后再谈。同时，这意味着数据本身可能不是稀疏的，但其中有一些可压缩的东西。动机是当我们测量某物时（包括录制歌曲、拍照、测量物理实验），我们期望从中提取一些意义。一个意义（或一种感觉，或标签）对人类来说是一个低维度的信号。一张百万像素的图片可以归类为“猫”。

可压缩性不假设大部分数据样本为零。事实上，由于数字信号、噪声和模型不确定性的数值限制，这在实践中很少发生。可压缩性假设数据可以转化为一系列系数，这些系数按幅度排序，衰减非常快，同时提供了对数据的良好近似。这可能涉及将数据转换为数据更集中的域。一个典型的例子是基于变换的压缩，其中数据被转换为可以解释感知重要性的局部傅里叶、时间尺度或时间频率表示。这用于 MP3、JPEG 或 JPEG 2000。

如果我们回到过去，稀疏类似于简约法则或经济法则，与 奥卡姆的威廉的前科学假设有关，即奥卡姆剃刀：

“无必要，实体不可相乘”（Non sunt multiplicanda entia sine necessitate）

换个说法，“更简单的解决方案比复杂的解决方案更可能是正确的。” 他的历史可以在翁贝托·埃科的小说《玫瑰之名》和让-雅克·阿诺的电影《玫瑰的名字》中追溯：纪尧姆·德·巴斯克维尔以奥卡姆和夏洛克·福尔摩斯的名字命名。

在当前情况下，这现在涉及（至少）两项措施：

1. 一种解释观测数据和稀疏数据之间的误差，
2. 一种衡量数据稀疏性或数据背后的模型的方法。

如何在这两种措施之间取得平衡是当前关注的问题。

回到“现实世界的应用程序”，稀疏先验通常有助于为欠定系统找到合理的解决方案。我已经将它们用于实际的稀疏信号处理（色谱、质谱）、自适应滤波（假设自适应系统是稀疏的）和压缩环境中。然而，主要困难之一在于“稀疏性”的正确且可用的定义。这$\ell_0$计数测量很少易于处理，$\ell_1$代理有局限性，最常见的是稀疏惩罚，如$\ell_p$($p<1$) 准规范，$\log$或范数比是非凸的，证明和算法仍有待开发。

几个示例区域：

1. 声纳波束成形 - 在许多情况下，目标数量很少
2. 雷达处理——雷达图像可以分解为背景和稀疏的一组点状目标，或少量移动目标。
3. 雷达断层扫描 - 此应用程序使用在略微不同高度的多个雷达通道从多个合成孔径雷达 (SAR) 图像中提取高度信息（类似于干涉测量）。在远处，这看起来很像窄带波束成形——因此它正在寻找空间频率而不是时间频率。

其中许多主题在每年的CoSeRa会议上进行讨论

稀疏性概念也可以扩展到矩阵——你现在考虑矩阵的秩——它可以被认为是$l_0$测量矩阵。您正在尝试最小化矩阵的秩，但秩不是凸函数，因此您需要考虑最小化核范数（奇异值之和）。这是诸如 Netflix 问题之类的问题的基础——您的矩阵条目不完整，并且您试图填写您不知道的条目。