信息处理 - 计算量极大的图像/视频压缩方案，提供比行业标准 JPEG/H.264 更好的压缩 - 吾爱随笔录

计算量极大的图像/视频压缩方案，提供比行业标准 JPEG/H.264 更好的压缩

信息处理图像处理视频处理视频压缩 JPEG

2022-01-15 16:16:41

我正在尝试寻找与广泛采用的行业标准（即 JPEG/H.264）相比提供卓越压缩性能（保持图像质量不变）的图像/视频压缩方案，但由于它们的计算量或资源量太大密集，在基于 CPU 的工作站上实现它们是不可行的，因此在通用标准中未被采用。

我只能将分形压缩视为一个很好的例子。社区是否知道更多这样的例子？

1个回答

压缩有多个方面 - 无论您是指图像还是视频。（可能是音频完全不同，所以我在这里不是指这个）。

如果你真的看一下压缩标准的历史，当它们第一次形成时——MPEG1 实时编码器很少见。当时的 CPU 本身不足以使其实时；然而，并不是处理复杂性（单独）阻止了在编解码器下使用更复杂的算法。（可能导致包含/排除某些算法的主要因素是 a. 专利，b. 实施的可行性）。

但是，我想更简单地重新表述这个问题：

还有哪些其他压缩研究尚未上市（或根本没有上市，但可能对某些应用有价值）？

以下是一些值得关注的点：

1.更好的改造？

到目前为止，DCT 已成为所有编解码器的通用转换。然而，有许多研究论文表明小波可能会更好。事实上，唯一的 JPEG2000 包含小波——但该标准本身并没有受到很大的影响。可能在某些方面它比DCT 更好。特别是有人声称小波的性能优于 DCT [参见：参考 1]

我认为小波在 DCT上的计算成本很高（部分原因是 8x8 DCT 实现是高度优化的）。但我想我并没有真正飞得那么多，因为从市场的角度来看，因为当时 DCT 的传播范围要广得多，而且改进的差异对于人们转换来说并没有那么大。

2. 多假设运动补偿
虽然 MPEG 2 很满意 $B$ 图片，来自Bern Girod [参见参考资料 2] 的广泛研究证明 - 这个概念可以扩展到此之外。事实上，H.264 实际上已经对基于多目标的运动补偿进行了很好的推广——基本上一个可以存储过去 16 张图片（与 MPEG2 中的 2 张图片相比），而且预测确实可以非常高。

虽然，这已经是 H.264 标准的一部分 - 这仍然没有被充分利用。需要对运动估计进行如此广泛的大型搜索实际上可行。大多数 H.264 编码器在充分发挥其潜力方面仍处于起步阶段。

3. 可扩展的图像/视频压缩
可扩展的图像和视频压缩再次成为如何对图像和视频进行多重描述编码的圣杯。基本上相同的图像或视频可以以多种分辨率、量化（质量）或帧速率进行编码。这些在同一流中产生不同的质量与比特率层 - 流媒体服务器实际上可以动态调整比特率和质量，以最适合质量的视频。见 [参考 3]、[参考 4]、[参考 5]

其中，只有真正成功的是渐进式 JPEG，它对网站实际上有用并且确实有用。同样，虽然动态调整比特流的承诺很好，但它只有在存在可以估计这种比特率并且适应类型可以服务于某些实际目的的实际系统时才有效。然而，在视频领域，尽管标准（MPEG2、MPEG4 和 H.264）支持这一点，但几乎没有任何使用。

4. 对象视频
这也许是压缩的终极圣杯。目标视频 [Ref 6] 由 MPEG 标准机构本身发起，然而，这也得到了广泛研究的支持。

基本思想是根据不同的对象来分割视频，然后每个这样的对象都可以被视为单独的平面。每个对象都可以应用不同的比特率、量化、帧率和更有效的预测。此外，您可以像在 Photoshop/gimp 中那样操作这些对象。

然而，事实证明，用感知相关对象分割现实世界的图像和视频 - 是一个难题！因此，即使我确实有编码器/解码器——我也需要鲁棒和实时分割系统来使事情成为可能。到目前为止，关于如何以这种分层视频的形式应用视频以使其工作，这是一个非常开放的问题。

5. 更多维度
除此之外，还有用于立体视频（又名多视图）和 3D 视频（几乎相似的概念）的编解码器，它们还试图减少额外维度中的冗余。虽然这仍在研究中，但 H.264 现在确实有一个配置文件。Cinema 编码也是如此。

在这方面仍有许多研究项目 - 然而，视频压缩现在是一个相当大的商品市场。基本上不会产生新应用的研究，或者如果在实施中存在可行性问题，尽管它具有独创性，但实际上将无法生存。

希望这可以帮助。

参考：

其它你可能感兴趣的问题

上一篇radix-4 FFT 实现下一篇Siri 如何识别我说“嘿 Siri”？