一些（不是全部）压缩算法的工作方式是它们将频繁事件编码为短代码，而将罕见事件编码为较长代码。总体而言，通过对常见元素进行编码可以节省更多空间，而不是对稀有元素进行编码。一个例子是霍夫曼代码，它使用基于项目频率的可变长度编码。

如果一次编码多个事件，您可以使用压缩算法进行预测。例如，单词对而不是单个单词。每个词对都有一个代码，常见的词对（例如of the）将具有比不常见的词对（例如三个）更短的代码。对于预测，选择所有以已知序列开头的单词对（例如of）。现在从该列表中选择具有最短代码的对（这更常见），因此在此示例中更可能跟随而不是三个。之后，对下一个单词重复该过程，因此查找以 . 开头的对。

您所需要的只是压缩过程中生成的压缩“代码书”——它本质上是您压缩的数据的模型。当然，这也适用于比对更长的序列。

如果您想了解有关该主题的更多信息，我可以推荐Witten、Moffat 和 Bell 的《管理千兆字节》。关于压缩技术的好书。

虽然这并不能严格回答你的问题（但至少是非常相关的），但 Jürgen Schmidhuber 对压缩以及它与人工智能、预测、好奇心等的关系有一些有趣的想法。例如，看看这篇论文Simple主观美、新奇、惊喜、趣味、注意力、好奇心、创造力、艺术、科学、音乐、笑话的算法理论，其抽象状态

在这份对先前工作的总结中，我认为一旦某些自我改进但计算能力有限的主观观察者学会以更好的方式预测或压缩数据，数据本身就会暂时变得有趣，从而使其主观上更加“美丽” . 好奇心是创建或发现更多非随机、非任意、“真正新颖”的常规数据的愿望，这些数据允许压缩进程，因为其规律性尚不清楚。这种驱动力最大化了“趣味性”，即主观美感或可压缩性的一阶导数，即学习曲线的陡度。它激发了探索婴儿、纯数学家、作曲家、艺术家、舞者、喜剧演员、你自己和最近的人工系统的动机。

另请参阅他在 YouTube 上的有趣演讲Juergen Schmidhuber：超越好奇心和创造力的算法原理。