使用-norm正则化以实现解的稀疏性为目的已成功应用了很多。但很多时候,我发现这篇论文使用混合规范而不是-规范。
考虑混合范数规范定义为:
混合规范如何优于- 稀疏表示的规范?我看到的大部分是.
参考,例如,
- 用于聚类eq.12的稀疏非负矩阵分解
- 联合稀疏信号的压缩感知作为质谱数据降维的方法eq.7
- 用于高光谱解混的 L1/2 稀疏约束非负矩阵分解
使用-norm正则化以实现解的稀疏性为目的已成功应用了很多。但很多时候,我发现这篇论文使用混合规范而不是-规范。
考虑混合范数规范定义为:
混合规范如何优于- 稀疏表示的规范?我看到的大部分是.
参考,例如,
混合范数允许您在解决方案矩阵中施加一些简单的结构。使用您的示例那么这意味着解决方案可以将任意元素设置为非零系数。这不会在解决方案中强加任何结构。在这种情况下norm 只是对所有矩阵元素的绝对值求和 - 类似于 Frobenius 范数。
例如,考虑以下矩阵的范数相同:
.
所以对于哪个元素设置为非零没有偏好
相反,如果和, 那么目标函数就是最小化列的范数,然后是规范超过那个。这意味着您正在寻找一个具有稀疏数量的列向量的矩阵,其中每个列向量都有一个小的规范。当然,这假设您正在使用规范作为稀疏性的代表。
考虑和以下矩阵的范数:
和
所以最小化norm 倾向于选择第一个矩阵的结构而不是第二个矩阵的结构,同时最小化norm 倾向于使用第二个矩阵结构而不是第一个矩阵。
因此,混合范数允许您对正在寻找的稀疏解决方案的结构施加软约束。相对容易看出,您也可以将其设置为查找一组稀疏的行向量,每个行向量都有一个小的规范。决定使用哪个实际上取决于您如何设置方程式。