正交匹配追踪 (OMP) 算法的替代方案

信息处理 数字通信 压缩传感 线性代数
2022-01-15 07:35:46

在 Compressed Sensing 上下文中,假设有一个信号 xRnk 稀疏的。即它的伪 0 范数是 $ {\left\| x \right\|}_{0} = k k k << n $。

给定一个模型矩阵 ARm×n 测量值由(这是模型)给出:

y=Ax

恢复问题由下式给出:

$$ \arg \min_{x} {\left\| A x - y \right\|}_{2}^{2} \; \文本{st} \; {\左\| x \right\|}_{0} = k $$

由于上述问题的精确解决方案很难从测量 y 中找到信号 x 的恢复(估计),因此通常使用正交匹配追踪 (OMP) 算法完成。

基本上,OMP 会迭代地找到与模型相关性最高的元素。

问题是,由于选择指数的质量衡量标准是基于相关性,为什么不能使用以下方法找到支持:

[vCorrVal vCorrIdx] = sort(A' * Y);    
vSignalSupport = vCorrIdx(1:k);

结果与普通 OMP 几乎相同。

2个回答

OMP 的主要优点是残差与当前解正交。

假设您一次从 $A$(也称为原子)中选择了所有 $k$ 列,并假设 $A$ 是一个过完备基(这或多或少是 OMP 文献中的标准)。k columns from A (also called atoms) at once and let us also presume that A is an overcomplete basis (this is more or less the standard in OMP literature).

现在,使用您的方法,如果与您的测量 $y$ 最相关的原子与 $A$ 中的 $p < k$ 其他原子线性相关,那么您最终将得到一个 $kp$-sparse 信号,因为$p$ 条目或多或少是多余的。当然,同样的论点可以扩展到相关性较低的原子。你也可能很幸运,永远不会看到这种现象。y is linear-dependent with p<k other atoms in A you will end-up with an kp-sparse signal, because p entries will be more or less redundant. The same argument can of course be extended to less correlated atoms. You might also be lucky and never see the phenomenon.

让我们举同样的例子,但这次使用 OMP。在第一次迭代期间,您将选择与测量值 $y$ 最相关的原子。之后,您计算 $x$ 中的系数,以使新残差与当前测量近似值正交。换句话说,您获得了当前所选原子提供的大部分信息,因此在下一次迭代期间,您很可能会选择一个包含新信息的原子(问问自己在这种情况下线性相关原子会发生什么)。y. After that you compute the coefficient in x such that the new residual is orthogonal to the current measurements approximation. In other words you got the most of the information provided by the currently selected atom so during the next iteration you are very likely to pick an atom that contains fresh information (ask yourself what would happen with linear dependent atoms in this case).

以下是基于 OMP 和 OLS 的原子选择前瞻策略列表,您可能会感兴趣阅读:POMP、LAOLSPOLS

您提出的建议实际上已用于其他算法。您的建议对应于迭代硬阈值的第一步。在第一步之后,更新残差,重复相关,并且在再次阈值之前将相关结果添加到信号估计中。重复此过程,直到在某种意义上达到收敛(压缩感知的迭代硬阈值)。还可以以更类似于 OMP 的方式更新估计值;那么它对应于硬阈值追踪(Hard Thresholding Pursuit: An Algorithm For Compressive Sensing)。

原理(在每次迭代中识别许多支持索引候选)也可以在两步阈值算法中看到,例如 CoSaMP(CoSaMP:从不完整和不准确样本中迭代信号恢复)和子空间追踪(压缩传感信号重建的子空间追踪) .

所有这些算法的共同点是它们都运行了几次迭代,将信号与“模型”“关联”并相应地更新残差,因为它改进了估计。