在数学中，“稀疏”和“密集”通常是指数组（例如向量或矩阵）中零元素与非零元素的数量。稀疏数组是包含大部分零和少量非零条目的数组。密集数组主要包含非零。

稀疏的内容没有硬性阈值；这是一个宽松的术语，但可以更具体。例如，一个向量是$k$-sparse 如果它最多包含$k$非零条目。另一种说法是向量的$\ell_0$规范是$k$.

这些术语在神经网络上下文中的用法与它们在其他领域的用法相似。在 NN 的上下文中，可以描述为稀疏或密集的事物包括特定层内单元的激活、权重和数据。人们也可以谈论“稀疏连接”，它指的是只有一小部分单元相互连接的情况。这是与稀疏权重类似的概念，因为零权重的连接实际上是未连接的。

“稀疏数组”也可以指一类可以有效表示稀疏数组的数据类型。这是编程语言领域内的一个概念。它与数学概念相关，但又不同。