压缩传感:ℓ0ℓ0“规范”对比ℓ1ℓ1规范

计算科学 优化 稀疏矩阵 回归
2021-12-19 09:38:57

假设我们有一种非常有效的执行方式0“规范”压缩 vs1规范压缩感知。具体来说,0“规范”压缩感知是

minxTQx+bTx+μx0s.t:Axb

范数压缩感知是1

minxTQx+bTx+μx1s.t:Axb

我们应该几乎总是使用规范公式吗?是否有任何论文讨论(忽略计算角度)相对于规范压缩感知的好处?001


编辑:我们感兴趣的实际应用是关于避免下面公式的过度拟合。例如是一个很长的特征向量(比如长度);但是我们只有数据,即,而我们感兴趣的问题是,范数公式(如果可以实际计算)是否可以比范数公式提供显着优势。x1000100Efeature100×1000Einput100×101

minEfeaturexEinput22+μx0,1s.t:Axb

1个回答

在压缩感知中,真正的问题是范数(嗯,伪范数)。 0

伟大的发现之一是使用相同的结果 10

所以我们可以从几何直觉上找到为什么L1会促进稀疏性,而真正的稀疏成本函数是0规范。