没有对微分熵的解释与熵一样有意义或有用。连续随机变量的问题是它们的值通常具有 0 概率，因此需要无限数量的比特来编码。

的概率来查看离散熵的极限，您最终会得到$[n\varepsilon, (n + 1)\varepsilon[$

$$-\int p(x) \log_2 p(x) \, dx - \log_2 \varepsilon$$

而不是微分熵。这个量在某种意义上更有意义，但随着我们采用越来越小的间隔，它会发散到无穷大。这是有道理的，因为我们将需要越来越多的位来编码我们的随机值的值落在多个区间中的哪个区间。

对于连续分布，一个更有用的量是相对熵（也是 Kullback-Leibler 散度）。对于离散分布：

$$D_\text{KL}[P || Q] = \sum_x P(x) \log_2 \frac{P(x)}{Q(x)}.$$

时使用的额外位数，但我们使用位对进行编码。我们可以取相对熵的极限并得出$P$$-\log Q_2(x)$$x$

$$D_\text{KL}[p \mid\mid q] = \int p(x) \log_2 \frac{p(x)}{q(x)} \, dx,$$

因为将取消。对于连续分布，这对应于在无限小的 bin 的限制中使用的额外位数。对于连续分布和离散分布，这始终是非负的。$\log_2 \varepsilon$

现在，我们可以和非归一化密度之间的负相对熵，$p(x)$$\lambda(x) = 1$

$$-\int p(x) \log_2 p(x) \, dx = -D_\text{KL}[p \mid\mid \lambda].$$

位来编码第个间隔所需的位数差异-位。尽管前者是最优的，但这种差异现在可能是负的，因为是作弊的（通过不积分为 1），因此平均分配的位数可能比理论上可能的要少。$-\log_2 \int_{n\varepsilon}^{(n + 1)\varepsilon} p(x) \, dx$$n$$-\log \varepsilon$$\lambda$

有关相对熵的精彩介绍，请参阅Sergio Verdu 的演讲。