对概率发生的事件进行编码$p$你至少需要$\log_2(1/p)$位（为什么？请参阅我对“对数在香农熵中的作用是什么？”的回答）。

所以在最佳编码中，编码消息的平均长度是

$$\sum_i p_i \log_2(\tfrac{1}{p_i}),$$ 即原始概率分布的香农熵。

但是，如果对于概率分布$P$您使用最适合不同概率分布的编码$Q$，则编码消息的平均长度为

$$\sum_i p_i \text{code_length($i$)} = \sum_i p_i \log_2(\tfrac{1}{q_i}),$$ 是交叉熵，大于$\sum_i p_i \log_2(\tfrac{1}{p_i})$.

例如，考虑四个字母（A、B、C、D）的字母表，但 A 和 B 具有相同的频率，而 C 和 D 根本不出现。所以概率是$P=(\tfrac{1}{2}, \tfrac{1}{2}, 0, 0)$.

然后，如果我们想以最佳方式对其进行编码，我们将 A 编码为 0，将 B 编码为 1，因此我们每一个字母得到一位编码消息。（这正是我们概率分布的香农熵。）

但是如果我们有同样的概率$P$, 但我们根据所有字母的概率相同的分布对其进行编码$Q=(\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4},\tfrac{1}{4})$，然后我们得到每个字母两位（例如，我们将 A 编码为 00，B 编码为 01，C 编码为 10，D 编码为 11）。