压缩感知能否应用于数据挖掘?

机器算法验证 数据挖掘 套索
2022-03-13 18:08:06

对于高维数据,LASSO 很有用,因为它可以确定少数重要的协变量。我认为压缩感知是 LASSO 的升级版。根据维基页面:

[LASSO 估计器] 恢复了稀疏解决方案,但所需的测量类型和数量不是最佳的,随后通过压缩感知大大改进

它可以用于高维数据挖掘吗?谁能提供参考?谢谢你。

1个回答

是的,压缩感知可用于数据稀疏时的数据挖掘。例如,参见Calderbank 等人。压缩学习

直觉是,如果数据是稀疏的,那么可以从其随机投影表示中完美地重建数据 whp,前提是投影维度,k, 满足kO(Φ(x)0log d),其中是数据维度,是数据稀疏表示中非零条目的数量。因此,执行随机投影不会丢失任何信息。dΦ(x)0

但是,可以做得更好。例如,分类是一项比完美信号重建简单得多的任务,因此可以保证随机投影分类器对数据没有稀疏性要求,并且只要求投影维度在类数中是对数的。例如,请参阅我们 2010 年的 KDD 论文:Durrant 和 Kaban。压缩Fisher线性判别分析

为了在随机投影域中进行回归,数据也不必稀疏,例如,请参阅此 NIPS 2009 论文:Mailard 和 Munos。压缩最小二乘回归

关于随机投影数据的机器学习和压缩学习有相当多的文献。如果您想更深入地研究,那么查找我上面引用的论文中的参考文献应该会给您一个良好的开端。