目前人工智能在数据压缩领域的研究进展如何?

人工智能 神经网络 机器学习 参考请求 最先进的 数据压缩
2021-11-03 08:13:20

目前人工智能和机器学习在数据压缩领域的研究有哪些?

我对PAQ 系列压缩器进行了研究,其中一些使用神经网络进行上下文混合。

2个回答

它已经合并了。

大多数最好的压缩编码器已经使用了自适应熵技术。这适用于文件编码器、视频编码器和音频编码器。我们在太阳能实验室中使用它来优化数据采集中的采样率。

事实上,如果您考虑自动编码器和其他特征提取方案并在数学上将它们与压缩进行比较,那么模式识别和压缩是非常紧密耦合的。请参阅数据压缩——模式识别的一般原则?, Gunther Heidemann, Helge Ritter, VISIGRAPP 2008

Zlib 和 lz4 更像是超参数学习,但是他们不会坚持他们学到的东西。这项工作很有趣:Adaptive On-the-Fly Compression,Chandra Krintz,Sezgin Sucu,IEEE Parallel and Distributed Systems,v17 n1,2006 年 1 月

**建议项目:

创建一个理论框架和软件 POC,学习这两组之间的相关性。

  1. 快速确定文档或音频或视频流的特征(即文件路径组件、媒体标题、日期、文件类型和前 N 个字节)
  2. 现有开源压缩软件在其现有模式识别算法中学习的现有参数

保持压缩调用之间的这些相关性可以显着改善文件传输、内核操作(因为 lz4 现在在 LINUX 等内核中是本机的)和媒体流。

为在媒体流中的帧之间保留提取的特征(模式识别)付出了多少努力也值得研究。

循环神经网络可以在字符级数据上进行训练,以生成与人类语言非常相似的句子。通过这个链接您可以尝试使用它们来压缩文本。